Spark 3.0.0 Driver 启动内幕【共11课时】_大数据系统课程-51CTO学堂

段智华认证讲师讲师评分5.0学员3707课程8

本人从事大数据开发和运维工作十余年，码龄5年，深入研究Spark 2.1.1、Spark 2.4.0版本源码，参与王家林大咖主编出版Spark系列图书4本，其中清华大学出版社最新出版的新书《Spark大数据商业...

畅销套餐
精选套餐
人气套餐
尊享套餐
高薪套餐

Spark 3.0.0 集群启动原理和源码详解

9人学习

￥160.00

更多 5 门课程

GoldenGate+ETL/Kettle专题（92个项目）

GoldenGate数据库容灾迁移01（OGG同构异构、数据库迁移、数据同步、容灾复制）

162393人学习

￥998.00

GoldenGate数据库容灾迁移02（OGG同构异构、数据库迁移、数据同步、容灾复制）

42392人学习

￥889.00

GoldenGate数据库容灾迁移03（OGG同构异构、数据库迁移、数据同步、容灾复制）

大数据运维架构师培训（1）：Hadoop集群（HDFS,MR,Yarn）,Zookeeper集群

78519人学习

￥499.00

大数据运维架构师培训（2）：Hbase,Hive, Phoenix,Pig,Impala,Kudu

30778人学习

￥333.00

大数据运维架构师培训（3）：Spark,Flink, Storm,Kafka,Solr

29860人学习

￥399.00

更多 12 门课程

赵强-大数据课程之从Hadoop到Spark专题

赵渝强老师：Hadoop 2.x（一）大数据基础实战视频课程

67213人学习

￥279.00

赵渝强老师：Spark系列视频课程之一：Scala编程语言视频课程

19759人学习

￥179.00

赵渝强老师：Spark 2系列视频课程之二：Spark Core

14650人学习

￥279.00

更多 11 门课程

赵强-大数据课程之从Hadoop到Spark专题

赵渝强老师：Hadoop 2.x（一）大数据基础实战视频课程

67213人学习

￥279.00

赵渝强老师：Spark系列视频课程之一：Scala编程语言视频课程

19759人学习

￥179.00

赵渝强老师：Spark 2系列视频课程之二：Spark Core

14650人学习

￥279.00

更多 11 门课程

课程介绍
课程大纲

适合人群：

所有Spark学习者和从业人员、有分布式计算框架应用经验的人员、高等院校学生

你将会学到：

循序渐进地解析Spark 3.0.0 Driver启动内幕的内核源码。

Spark 3.0.0 Driver Program剖析
Spark 3.0.0 DAGScheduler解析
Spark 3.0.0 TaskScheduler解析
Spark 3.0.0 SchedulerBackend解析
打通Spark 3.0.0系统运行内幕机制循环流程

课程简介：

本课程讲解Spark 3.0.0 Driver 启动内幕的内容，包括：Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析；DAGScheduler 解析：DAG 的实例化、DAGScheduler 划分Stage 的原理、DAGScheduler 划分Stage 的具体算法、Stage 内部Task 获取位置的算法；TaskScheduler 解析：TaskScheduler 原理剖析、TaskScheduler 源码解析；SchedulerBackend 解析：SchedulerBackend 原理剖析、SchedulerBackend 源码解析、Spark 程序的注册机制、Spark 程序对计算资源Executor 的管理；打通Spark 系统运行内幕机制循环流程。

展开更多

课程大纲-Spark 3.0.0 Driver 启动内幕

第1章Spark 3.0.0 Driver Program剖析(41分钟2节)
1-1
Spark3.0.0 Driver Program 剖析上集Spark3.0.0 Driver Program 剖析-上集
「仅限付费用户」点击下载“Spark3.0.0 Driver Program 剖析.pptx”
[13:54]开始学习
1-2
Spark3.0.0 Driver Program 剖析下集Spark3.0.0 Driver Program 剖析-下集
「仅限付费用户」点击下载“Spark3.0.0 Driver Program 剖析.pptx”
[27:17]开始学习
第2章Spark 3.0.0 DAGScheduler解析(1小时16分钟4节)
2-1
Spark3.0.0 DAGScheduler解析-实例化Spark3.0.0 DAGScheduler解析之定义实例化及原理
「仅限付费用户」点击下载“Spark3.0.0 DAGScheduler 解析.pptx”
[14:29]开始学习
2-2
Spark3.0.0DAGScheduler划分Stage上Spark3.0.0 DAGScheduler 划分Stage 上集
「仅限付费用户」点击下载“Spark3.0.0 DAGScheduler 解析.pptx”
[24:48]开始学习
2-3
Spark3.0.0DAGScheduler划分Stage下Spark3.0.0 DAGScheduler 划分Stage 下集
「仅限付费用户」点击下载“Spark3.0.0 DAGScheduler 解析.pptx”
[24:15]开始学习
2-4
Spark3.0.0 Stage 内部Task 获取位置Spark3.0.0 Stage 内部Task 获取位置的算法
「仅限付费用户」点击下载“Spark3.0.0 Stage 内部Task 获取位置的算法.pptx”
[12:30]开始学习
第3章Spark 3.0.0 TaskScheduler解析(1小时3节)
3-1
Spark3.0.0 TaskScheduler 原理剖析Spark3.0.0 TaskScheduler 原理剖析
「仅限付费用户」点击下载“Spark3.0.0 TaskScheduler 原理剖析.pptx”
[12:50]开始学习
3-2
Spark3.0.0 TaskScheduler源码解析上Spark3.0.0 TaskScheduler 源码解析-上集
「仅限付费用户」点击下载“Spark3.0.0 TaskScheduler 源码解析.pptx”
[20:09]开始学习
3-3
Spark3.0.0 TaskScheduler 源码解析下Spark3.0.0 TaskScheduler 源码解析-下集
「仅限付费用户」点击下载“Spark3.0.0 TaskScheduler 源码解析.pptx”
[27:17]开始学习
第4章Spark 3.0.0 SchedulerBackend解析(13分钟1节)
4-1
Spark3.0.0 SchedulerBackendSpark3.0.0 SchedulerBackend 解析
「仅限付费用户」点击下载“Spark3.0.0 SchedulerBackend 解析.pptx”
[13:07]开始学习
第5章打通Spark 3.0.0系统运行内幕机制循环流程(27分钟1节)
5-1
Spark 3.0.0打通Spark 系统运行内幕机制循环Spark 3.0.0打通Spark 系统运行内幕机制循环流程
「仅限付费用户」点击下载“Spark3.0.0 打通Spark 系统运行内幕机制循环流程.pptx”
[27:31]开始学习