Spark3.0.0 Stage 内部Task 获取位置
{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }}
{{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }}
{{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}
分享
适合人群
所有Spark学习者和从业人员、有分布式计算框架应用经验的人员、高等院校学生
你将会学到
循序渐进地解析Spark 3.0.0 Driver启动内幕的内核源码。
- Spark 3.0.0 Driver Program剖析
- Spark 3.0.0 DAGScheduler解析
- Spark 3.0.0 TaskScheduler解析
- Spark 3.0.0 SchedulerBackend解析
- 打通Spark 3.0.0系统运行内幕机制循环流程
课程简介
本课程讲解Spark 3.0.0 Driver 启动内幕 的内容,包括:Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析;DAGScheduler 解析:DAG 的实例化 、DAGScheduler 划分Stage 的原理、DAGScheduler 划分Stage 的具体算法、Stage 内部Task 获取位置的算法;TaskScheduler 解析:TaskScheduler 原理剖析、TaskScheduler 源码解析;SchedulerBackend 解析:SchedulerBackend 原理剖析、SchedulerBackend 源码解析、Spark 程序的注册机制、Spark 程序对计算资源Executor 的管理; 打通Spark 系统运行内幕机制循环流程。
展开更多
{{tips.text}}
{{ noteHeaderTitle }}
笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
{{ detail.username }}
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
公开笔记
保存提问
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交课程大纲
自动连播
- 第一章 Spark 3.0.0 Driver Program剖析
- 1-1试看 Spark3.0.0 Driver Program 剖析上集13:54
- 1-2试看 Spark3.0.0 Driver Program 剖析下集27:17
- 第二章 Spark 3.0.0 DAGScheduler解析
- 2-1试看 Spark3.0.0 DAGScheduler解析-实例化14:29
- 2-2试看 Spark3.0.0DAGScheduler划分Stage上24:48
- 2-3试看 Spark3.0.0DAGScheduler划分Stage下24:15
- 2-4试看 Spark3.0.0 Stage 内部Task 获取位置12:30
- 第三章 Spark 3.0.0 TaskScheduler解析
- 3-1试看 Spark3.0.0 TaskScheduler 原理剖析12:50
- 3-2试看 Spark3.0.0 TaskScheduler源码解析上20:09
- 3-3试看 Spark3.0.0 TaskScheduler 源码解析下27:17
- 第四章 Spark 3.0.0 SchedulerBackend解析
- 4-1试看 Spark3.0.0 SchedulerBackend13:07
14课时
Spark 3.0.0的灵魂:RDD和DataSet
415人学习
段智华
5.0
免费
16课时
Spark 3.0.0 Application 提交给集群的原理和源码详解
140人学习
段智华
5.0
¥160.00
11课时
Spark 3.0.0 Driver 启动内幕
127人学习
段智华
5.0
免费
11课时
Spark 3.0.0 集群启动原理和源码详解
9人学习
段智华
暂无评分
¥160.00
37课时
大数据入门与核心技术项目实战视频课程(0基础学习)
217000人学习
柠檬
4.7
免费
129课时
Hadoop大数据基础与提升
178420人学习
任亮
4.9
¥599.00
56课时
【徐葳】Flink进阶及实战(下)
120274人学习
徐葳
4.9
¥359.00
36课时
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
79040人学习
风哥
5.0
¥499.00