最新公告
  • 开通终身SVIP,享全站不限量下载次数-云资源-集成各类网络资源-正在更新中-预计更新到5W+文章开通SVIP
  • 文章介绍
  • 评价建议
  • 大数据核心技术全掌握课程视频教程下载。本套课程讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容,覆盖大数据处理平台的主要核心技术,突出技术深度和实战性。

    课程章节

    第一讲 大数据和ODPS
    主讲人:武永卫
    主讲人:程永
    QUIZ

    第二讲 分布式存储
    大纲
    初步认识大数据对分布式存储系统的需求
    理解大数据对分布式存储系统的需求
    具体说明大数据对分布式存储系统的需求
    大规模分布式存储的挑战
    小概率事件-Raid卡故障
    分布式存储系统举例
    分布式存储系统重要功能设计要点剖析
    链式写正常流程
    写流程的另一种常见方式:主从模式
    链式写异常流程
    写异常处理的另一种方法-Seal and New
    读正常流程
    读流程优化-BackupRead
    IO QoS
    数据正确性:checksum
    数据可靠性-Replication
    数据均衡-Rebalance
    垃圾回收-Garbage collection
    Erasure coding
    Erasure coding(3,2)写入和读取过程
    元数据管理的高可用性和可扩展性
    元数据管理的高可用性
    Paxos概要
    Raft
    元数据管理的可扩展性
    不同存储介质的特性
    盘古混合存储
    QUIZ

    第三讲 资源管理与任务调度
    阿里云飞天分布式调度
    任务调度
    资源调度
    容错机制
    规模挑战
    安全域性能隔离
    分布式调度的发展方向
    QUIZ

    第四讲 分布式编程模型的设计与演化
    数据格式和抽象
    分布式编程模型
    MapReuduce编程模型
    关系型数据编程模型
    分布式图计算模型
    分布式编程未来展望
    QUIZ

    实践1:通过两阶段提交协议完成数据上传
    分布式事务
    分布式一致性算法
    两阶段提交与三阶段提交
    实践–介绍
    HW1:通过两阶段提交协议完成数据上传

    第五讲 离线分布式关系型计算
    关系型计算基本原理_1
    关系型计算基本原理_2
    分布式环境中的连接计算和聚合计算
    其他计算和物理优化
    QUIZ

    第六讲 全局数据管理与调度
    提纲
    课程背景介绍
    前序知识
    分布式节点距离计算法则
    数据分布策略
    分布式计算调度
    数据就近原则计算如何容错
    ODPS跨集群数据依赖
    QUIZ

    实践2:编写MR完成Group By+Join操作
    主讲人:谢德军
    HW2:编写MR完成Group By+Join操作

    第七讲 流式计算的系统设计与实现
    增量计算和流式计算
    与批量计算的区别
    业界典型系统技术概要分析
    核心技术
    消息机制
    有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
    StreamSQL
    QUIZ

    第八讲 内存计算
    软硬件趋势、分布式计算简史与内存计算
    分布式计算
    内存计算
    统一的计算框架
    业界经典系统技术分析-spark&flink
    QUIZ

    第九讲 大规模数据的分布式机器学习平台
    主讲人:褚葳
    QUIZ

    实践3:实现MapReduce编程运行时库
    分布式环境下的新问题
    工程实现范例
    课程设计相关问题
    HW3:实现MapReduce编程运行时库


    PY源码网云资源 » 大数据核心技术全掌握视频教程

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    • 423510会员总数(位)
    • 40983资源总数(个)
    • 10 今日发布(个)
    • 1728稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情