[老汤]Spark 2.x实战应用系列五之Schedulers On Driver

学习DAG图的原理及其调度、学习task的调度原理、学习driver端的资源的调度原理、学习动态资源分配机制,从而达到对driver端的核心原理有比较深入的理解,可以指导driver的调优

5.0 (个评分) 6695人学习

中级 45课时 10小时22分钟 2019/04/01更新

资料下载

二维码 下载学堂APP 缓存视频离线看

    • 畅销套餐
    • 精选套餐
    • 人气套餐
    • 尊享套餐
    • 高薪套餐
从Scala到Spark 2.x专题
总价:
2074.00
套餐价:
1593.72
节省
¥480.28
[老汤]Spark 2.x之Scala内功修炼视频课程四-面向对象编程基础
7245人学习
¥99.00
[老汤]Spark 2.x之Scala内功修炼视频课程五-函数式编程基础
2354人学习
¥99.00
[老汤]Spark 2.x之Scala内功修炼视频课程六-模式匹配
2047人学习
¥99.00
更 多 22 门 课 程
[老汤]Spark 2.x精讲套餐
总价:
1450.00
套餐价:
1170.08
节省
¥279.92
[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api
38826人学习
¥159.00
[老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用
4780人学习
¥99.00
[老汤]Spark 2.x实战应用系列五之Schedulers On Driver
6695人学习
¥99.00
更 多 16 门 课 程
[老汤]Spark 2.x 之精讲Spark Core
总价:
442.00
套餐价:
375.70
节省
¥66.30
大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark
19156人学习
¥85.00
[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api
38826人学习
¥159.00
[老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用
4780人学习
¥99.00
更 多 4 门 课 程
老汤大数据高级工程师课程
总价:
9007.00
套餐价:
5404.20
节省
¥3602.80
老汤大数据课程之计算机基础
18655人学习
¥1.00
老汤大数据课程之Java入门基础
2642人学习
¥19.00
老汤大数据课程之Java面向对象
4746人学习
¥109.00
更 多 35 门 课 程
[老汤]Spark 2.x 之精讲Spark SQL专题
总价:
357.00
套餐价:
303.45
节省
¥53.55
[老汤]Spark 2.x实战应用系列六之Spark SQL的前生今世及未来
7683人学习
¥99.00
[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&java)
13590人学习
¥159.00
[老汤]Spark 2.x实战应用系列八之Spark SQL with Hive
5396人学习
¥99.00
更 多 3 门 课 程
大数据专题 新人优惠券
  • 课程介绍
  • 课程大纲 试看
  • 讲师好课 67
  • 学员评价

适合人群:

对spark有基础的了解同学

课程目标:

学习DAG图的原理及其调度、学习task的调度原理、学习driver端的资源的调度原理、学习动态资源分配机制,从而达到对driver端的核心原理有比较深入的理解,可以指导driver的调优

课程简介:

本课程主要的讲述的是spark在driver端怎么样将task调度到executor上进行执行的。分别对DAG的调度、task的调度以及driver端资源的调度作了很深入的讲述,全课程用通俗易懂的语言来描述这些原理性的东西。主要的内容如下:


更多的课程可以在51CTO学堂中搜索"老汤"


-------------------------------------------------------------------------------------------

Scala内功修炼系列课程计划(scala专题: https://edu.51cto.com/topic/1384.html  )



一、Scala内功修炼一:认识Scala (公开课,https://edu.51cto.com/course/12204.html )

二、Scala内功修炼二:怎样学习Scala (公开课,https://edu.51cto.com/course/12202.html  )

三、Scala内功修炼三:十二步体验Scala (公开课, https://edu.51cto.com/course/11756.html )

四、Scala内功修炼四:面向对象编程基础 (https://edu.51cto.com/course/11770.html )

五、Scala内功修炼五:函数式编程基础 (https://edu.51cto.com/course/11802.html )

六、Scala内功修炼六:隐式转换(https://edu.51cto.com/course/11814.html  )

七、Scala内功修炼七:类型系统 (https://edu.51cto.com/course/11849.html  )

八、Scala内功修炼八:模式匹配 (https://edu.51cto.com/course/11904.html  )

九、Scala内功修炼九:集合框架 (https://edu.51cto.com/course/12136.html  )



                 

 Spark2.x 应用实战系列课程计划


------------------------------------Spark 2.x 入门指南-----------------------------------

Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )

Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )

Spark2.x 实战应用系列一       :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )


-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html  )------------------------------

Spark2.x 实战应用系列二       :正确理解Spark (https://edu.51cto.com/course/10932.html )

Spark2.x 实战应用系列三       :Spark-core RDD API (https://edu.51cto.com/course/11058.html )

Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )

Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )


--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------

Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )

Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )

Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )

Spark2.x 实战应用系列八       :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )



---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------

Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)


---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------

Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)



大数据实时流处理技术系列课程计划


---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html  )--------------

Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html  )

Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html  )

Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html  )

Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html  )


---------------------------------------Structured Streaming专题------------------------------------------------------------

Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )




本课程内容:


第一章:课程内容简介


第二章:DAG的调度

2.1 stage的划分

2.2 stage的调度


第三章:任务调度

3.1 taskset调度的先进先出(FIFO)机制

3.2 taskset调度的公平调度(FAIR)机制

3.3 taskset调度的公平调度(FAIR)机制需要注意的点

3.4 task调度的本地性级别定义

3.5 task调度的延迟调度讲解一

3.6 task调度的延迟调度讲解二

3.7 task调度的推测机制

3.8 task调度的黑名单机制

3.9 task调度的黑名单机制使用场景


第四章 资源调度

4.1 executor资源的管理

4.2 task的launch流程及其需要注意的点

4.3 task的statusUpdate流程


第五章 Schedulers On Driver的源代码讲解

5.1 schedulers on driver的总体流程

5.2 源码讲解之schedulers的初始化

5.3 源码讲解之job提交流程

5.3 源码讲解之task结果处理


第六章 多个spark应用的调度

6.1 动态资源分配机制

6.2 External shuffle service机制

6.2 External shuffle service机制实战





展开更多

课程大纲-[老汤]Spark 2.x实战应用系列五之Schedulers On Driver

展开更多

5

条学员评分 超过  “大数据系统”   99%的课程
      展开更多
      加载中
      没有了哦~

      ¥99.00

      立即购买
      关注公众号 领VIP会员
      下次再说

      点击打包下载,即可获取该课程全部资料

      打包下载
      迎新春满300减35 满400减50
      是否单独购买该课程?
      直接购买 去凑单
      在线
      客服
      APP
      下载

      下载Android客户端

      下载iphone 客户端

      官方
      微信

      关注官方微信

      返回
      顶部