【大数据 hadoop生态 Spark2.x】深入Spark2.x内核大数据

1

Spark2.0环境搭建欲学习大数据，必先搭建学习的环境。本节课程从0开始：1。带大家从Centos虚拟机的安装2。Hadoop/Spark/Scala/Java软件的下载3。gz文件的解压4。系统用户的新建5。更改密码6。配置hostname/host7。配置静态IP8。添加环境变量9。配置hadoop集群10。配置Spark集群11。检验集群安装是否正确

「仅限付费用户」点击下载“课件.rar”

2

Spark2.0五大中RDD的创建及RDD的五大元素本节讲解RDD对于Spark的重要性。Spark为了解决传统计算框架遇到的痛点且要继承传统计算框架的水平扩展、自动容错、平衡负载、失败重试等优点，还要解决Shffle过程中产生大量的中间文件，中间数据保存磁盘带来的性能损失的痛点，因此提出了RDD这种抽象。其抽象出的5大要素，能完美的解决Spark设计所提出来的目标，达到内存计算提高计算的效率。1.RDD是一个只读的可分区的分布式数据集，因此partition是RDD的五大要素之一2.要实现分区，就要有分区器，因此partitioner是RDD五大要素之一3.要实现位置感知，达到“尽量移动代码而不移动数据”，因此preferedlocation是RDD五大要素之一4.要实现关系链的并且按照依赖关系来划分stage，因此RDD抽象出了dependencies，是五大要素之一5.RDD能够计算，因此要有计算的方法，compute是RDD五大要素之一

「仅限付费用户」点击下载“第二课：Spark基础概念.pdf”

3

Spark2.0之RDD上常见的转换及action操作_上这节的主要目标是熟悉RDD上的transformation算子：Spark是基于内存的计算引擎，Hadoop是基于磁盘的计算引擎，因此速度是Spark的优势之一。但不仅这些，Spark提供了比Hadoop丰富得多的算子操作，而Hadoop只有map和reduce；Spark支持使用Java/Scala/Python/R编写程序；

「仅限付费用户」点击下载“第三课：RDD的运行机制Spark作业提交调度过程解析.pdf”

4

Spark2.0之RDD上常见的转换及action操作_下这节的主要目标是熟悉RDD上的action算子：RDD上的transformation操作是惰性的，不会立即执行，必须要有action操作才能够出发作业的提交。本节就主要 讲解RDD上的常见的Action操作，并跟踪源码查看SparkContext的jobSubmit方法，以及DAGScheduler、TaskScheduler的相关的方法

「仅限付费用户」点击下载“第四课：Spark中Stage的划分.pdf”

5

Spark2.0之作业的提交及调度_上本节的目的是让学员清楚的了解Spark作业的调度过程。从spark-submit脚本提交作业，到SparkSubmit->Client->Master之间的通信原理

6

Spark2.0之作业的提交及调度_中本节的目的是让学员清楚的了解Spark作业的调度过程。从spark-submit脚本提交作业，到SparkSubmit->Client->Master之间的通信原理

7

Spark2.0之作业的提交及调度_下本节的目的是让学员清楚的了解Spark作业的调度过程。从spark-submit脚本提交作业，到SparkSubmit->Client->Master之间的通信原理