spark脚本系统

本门课程实战的东西偏多，主要是理解透spark-submit中的每一个参数的用法及其原理，以达到正确提交各种业务场景下的spark应用。在了解了spark-submit的每一个参数后，我们进而对spark-submit的原理以及spark的脚本系统进行了深入的探讨，也为深入理解spark打开了大门。

更多的课程可以在51CTO学堂中搜索"老汤"

-------------------------------------------------------------------------------------------

Scala内功修炼系列课程计划(scala专题： https://edu.51cto.com/topic/1384.html  )

一、Scala内功修炼一：认识Scala (公开课，https://edu.51cto.com/course/12204.html )

二、Scala内功修炼二：怎样学习Scala (公开课，https://edu.51cto.com/course/12202.html  )

三、Scala内功修炼三：十二步体验Scala (公开课， https://edu.51cto.com/course/11756.html )

四、Scala内功修炼四：面向对象编程基础 (https://edu.51cto.com/course/11770.html )

五、Scala内功修炼五：函数式编程基础 (https://edu.51cto.com/course/11802.html )

六、Scala内功修炼六：隐式转换 (https://edu.51cto.com/course/11814.html  )

七、Scala内功修炼七：类型系统 (https://edu.51cto.com/course/11849.html  )

八、Scala内功修炼八：模式匹配 (https://edu.51cto.com/course/11904.html  )

九、Scala内功修炼九：集合框架 (https://edu.51cto.com/course/12136.html  )

 Spark2.x 应用实战系列课程计划

------------------------------------Spark 2.x 入门指南-----------------------------------

Spark2.x 实战应用系列环境篇：Spark相关集群环境的搭建 (公开课，https://edu.51cto.com/course/11430.html )

Spark2.x 实战应用系列环境篇：Spark开发环境的搭建 (公开课，https://edu.51cto.com/course/11421.html )

Spark2.x 实战应用系列一       ：怎样学习Spark (公开课，https://edu.51cto.com/course/11210.html )

-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html  )------------------------------

Spark2.x 实战应用系列二       ：正确理解Spark (https://edu.51cto.com/course/10932.html )

Spark2.x 实战应用系列三       ：Spark-core RDD API (https://edu.51cto.com/course/11058.html )

Spark2.x 实战应用系列四       ：Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )

Spark2.x 实战应用系列五       ：Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )

--------------------------------------Spark-SQL实战应用(专题：https://edu.51cto.com/topic/1319.html )------------------------------

Spark2.x 实战应用系列六       ：Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )

Spark2.x 实战应用系列八       ：Spark SQL with Hive (https://edu.51cto.com/course/11537.html )

---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------

Spark2.x 实战应用系列九       ：Spark Graphx实战(即将发布)

---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------

Spark2.x 实战应用系列十       ：Spark 机器学习实战(即将发布)

大数据实时流处理技术系列课程计划

---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html  )--------------

Spark2.x 实时流计算系列一：Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html  )

Spark2.x 实时流计算系列二：Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html  )

Spark2.x 实时流计算系列三：Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html  )

Spark2.x 实时流计算系列四：Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html  )

---------------------------------------Structured Streaming专题------------------------------------------------------------

Spark2.x 实时流计算系列五：Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )

本课程内容：

第一章：课程内容简介

第二章：java基础知识

2.1 java命令启动JVM

2.2 java ProcessBuilder启动JVM

第三章：详解spark-submit的每一个参数

3.1 spark-submit感官认识

3.2 master和deploy-mode参数详解

3.3 --conf参数详解

3.4 driver相关参数的详解

3.5 executor相关参数的详解

3.6 --jars参数详解

3.7 --package相关参数详解

3.8 --files与--properties-file参数详解

3.9 --queue相关参数的详解

3.10 python spark应用的正确提交

3.11 利用SparkLauncher在代码中提交spark应用

第四章 spark-submit原理

4.1 spark脚本系统

4.2 spark-class脚本原理以及实现

4.3 spark-daemon脚本原理以及实现

4.4 SparkSubmit原理以及源码分析