- 畅销套餐
- 精选套餐
- 人气套餐
- 尊享套餐
- 高薪套餐

















- 课程介绍
- 课程大纲 试看
- 讲师好课 67
- 学员评价
适合人群:
对spark有基础的了解同学
课程目标:
理解透spark-submit中的每一个参数的用法及其原理,以达到正确提交各种业务场景下的spark应用
课程简介:
本门课程实战的东西偏多,主要是理解透spark-submit中的每一个参数的用法及其原理,以达到正确提交各种业务场景下的spark应用。在了解了spark-submit的每一个参数后,我们进而对spark-submit的原理以及spark的脚本系统进行了深入的探讨,也为深入理解spark打开了大门。
更多的课程可以在51CTO学堂中搜索"老汤"
Spark2.x 应用实战系列课程计划
------------------------------------Spark 2.x 入门指南-----------------------------------
Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )
Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )
Spark2.x 实战应用系列一 :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )
-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html )------------------------------
Spark2.x 实战应用系列二 :正确理解Spark (https://edu.51cto.com/course/10932.html )
Spark2.x 实战应用系列三 :Spark-core RDD API (https://edu.51cto.com/course/11058.html )
Spark2.x 实战应用系列四 :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )
Spark2.x 实战应用系列五 :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )
--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------
Spark2.x 实战应用系列六 :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )
Spark2.x 实战应用系列八 :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )
---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------
Spark2.x 实战应用系列九 :Spark Graphx实战(即将发布)
---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------
Spark2.x 实战应用系列十 :Spark 机器学习实战(即将发布)
大数据实时流处理技术系列课程计划
---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html )--------------
Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html )
Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html )
Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html )
Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html )
---------------------------------------Structured Streaming专题------------------------------------------------------------
Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )
本课程内容:
课程大纲-[老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用
资料下载-
第1章 课程内容简介 (9分钟 1节)
-
第2章 Java基础知识 (33分钟 2节)
-
2-2
java ProcessBuilder启动JVM 通过java代码来启动一个Jvm进程,以例子说明java ProcessBuilder怎么启动Jvm,以及启动前需要传递的参数的详细讲解
[17:31] 开始学习 -
第3章 详解spark-submit每一个参数 (1小时58分钟 11节)
-
3-1
spark-submit感官认识 通过spark-submit正确提交一个spark应用感受spark应用的提交。这里面还会涉及到一个应用提交前和提交后集群状态的比较,进而解释一些spark的基本术语
「仅限付费用户」点击下载“正确提交spark应用课件资料.zip”
[12:22] 开始学习 -
3-2
master和deploy-mode参数详解 详解了--master等于yarn以及standalone的原理 详解了--deploy-mode等于client以及cluster的原理
[17:25] 开始学习 -
3-7
--packages相关参数详解 对--packages相关参数进行了详细的讲解,且包含了--exclude-packages和--repositories 两个参数的讲解
[07:15] 开始学习 -
3-11
利用SparkLauncher在代码中提交spark 除了spark-submit可以提交spark应用外,我们还可以通过sparkLauncher在代码中提交spark应用
[10:19] 开始学习 -
第4章 spark-submit原理 (55分钟 4节)
5