[老汤]Spark 2.x实战应用系列五之Schedulers On Driver

本课程主要的讲述的是spark在driver端怎么样将task调度到executor上进行执行的。分别对DAG的调度、task的调度以及driver端资源的调度作了很深入的讲述，全课程用通俗易懂的语言来描述这些原理性的东西。主要的内容如下：

更多的课程可以在51CTO学堂中搜索"老汤"

-------------------------------------------------------------------------------------------

Scala内功修炼系列课程计划(scala专题： https://edu.51cto.com/topic/1384.html  )

一、Scala内功修炼一：认识Scala (公开课，https://edu.51cto.com/course/12204.html )

二、Scala内功修炼二：怎样学习Scala (公开课，https://edu.51cto.com/course/12202.html  )

三、Scala内功修炼三：十二步体验Scala (公开课， https://edu.51cto.com/course/11756.html )

四、Scala内功修炼四：面向对象编程基础 (https://edu.51cto.com/course/11770.html )

五、Scala内功修炼五：函数式编程基础 (https://edu.51cto.com/course/11802.html )

六、Scala内功修炼六：隐式转换(https://edu.51cto.com/course/11814.html  )

七、Scala内功修炼七：类型系统 (https://edu.51cto.com/course/11849.html  )

八、Scala内功修炼八：模式匹配 (https://edu.51cto.com/course/11904.html  )

九、Scala内功修炼九：集合框架 (https://edu.51cto.com/course/12136.html  )

 Spark2.x 应用实战系列课程计划

------------------------------------Spark 2.x 入门指南-----------------------------------

Spark2.x 实战应用系列环境篇：Spark相关集群环境的搭建 (公开课，https://edu.51cto.com/course/11430.html )

Spark2.x 实战应用系列环境篇：Spark开发环境的搭建 (公开课，https://edu.51cto.com/course/11421.html )

Spark2.x 实战应用系列一       ：怎样学习Spark (公开课，https://edu.51cto.com/course/11210.html )

-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html  )------------------------------

Spark2.x 实战应用系列二       ：正确理解Spark (https://edu.51cto.com/course/10932.html )

Spark2.x 实战应用系列三       ：Spark-core RDD API (https://edu.51cto.com/course/11058.html )

Spark2.x 实战应用系列四       ：Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )

Spark2.x 实战应用系列五       ：Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )

--------------------------------------Spark-SQL实战应用(专题：https://edu.51cto.com/topic/1319.html )------------------------------

Spark2.x 实战应用系列六       ：Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )

Spark2.x 实战应用系列八       ：Spark SQL with Hive (https://edu.51cto.com/course/11537.html )

---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------

Spark2.x 实战应用系列九       ：Spark Graphx实战(即将发布)

---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------

Spark2.x 实战应用系列十       ：Spark 机器学习实战(即将发布)

大数据实时流处理技术系列课程计划

---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html  )--------------

Spark2.x 实时流计算系列一：Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html  )

Spark2.x 实时流计算系列二：Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html  )

Spark2.x 实时流计算系列三：Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html  )

Spark2.x 实时流计算系列四：Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html  )

---------------------------------------Structured Streaming专题------------------------------------------------------------

Spark2.x 实时流计算系列五：Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )

本课程内容：

第一章：课程内容简介

第二章：DAG的调度

2.1 stage的划分

2.2 stage的调度

第三章：任务调度

3.1 taskset调度的先进先出(FIFO)机制

3.2 taskset调度的公平调度(FAIR)机制

3.3 taskset调度的公平调度(FAIR)机制需要注意的点

3.4 task调度的本地性级别定义

3.5 task调度的延迟调度讲解一

3.6task调度的延迟调度讲解二

3.7 task调度的推测机制

3.8task调度的黑名单机制

3.9task调度的黑名单机制使用场景

第四章 资源调度

4.1 executor资源的管理

4.2 task的launch流程及其需要注意的点

4.3 task的statusUpdate流程

第五章 Schedulers On Driver的源代码讲解

5.1 schedulers on driver的总体流程

5.2 源码讲解之schedulers的初始化

5.3 源码讲解之job提交流程

5.3 源码讲解之task结果处理

第六章 多个spark应用的调度

6.1 动态资源分配机制

6.2 External shuffle service机制

6.2 External shuffle service机制实战