课程内容

本门课程历史性的和思想性的东西比较多，主要是根据Spark SQL的发展历史来达到思想上入门Spark SQL

更多的课程可以在51CTO学堂中搜索"老汤"

-------------------------------------------------------------------------------------------

Scala内功修炼系列课程计划(scala专题： https://edu.51cto.com/topic/1384.html  )

一、Scala内功修炼一：认识Scala (公开课，https://edu.51cto.com/course/12204.html )

二、Scala内功修炼二：怎样学习Scala (公开课，https://edu.51cto.com/course/12202.html  )

三、Scala内功修炼三：十二步体验Scala (公开课， https://edu.51cto.com/course/11756.html )

四、Scala内功修炼四：面向对象编程基础 (https://edu.51cto.com/course/11770.html )

五、Scala内功修炼五：函数式编程基础 (https://edu.51cto.com/course/11802.html )

六、Scala内功修炼六：隐式转换(https://edu.51cto.com/course/11814.html  )

七、Scala内功修炼七：类型系统 (https://edu.51cto.com/course/11849.html  )

八、Scala内功修炼八：模式匹配 (https://edu.51cto.com/course/11904.html  )

九、Scala内功修炼九：集合框架 (https://edu.51cto.com/course/12136.html  )

 Spark2.x 应用实战系列课程计划

------------------------------------Spark 2.x 入门指南-----------------------------------

Spark2.x 实战应用系列环境篇：Spark相关集群环境的搭建 (公开课，https://edu.51cto.com/course/11430.html )

Spark2.x 实战应用系列环境篇：Spark开发环境的搭建 (公开课，https://edu.51cto.com/course/11421.html )

Spark2.x 实战应用系列一       ：怎样学习Spark (公开课，https://edu.51cto.com/course/11210.html )

-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html  )------------------------------

Spark2.x 实战应用系列二       ：正确理解Spark (https://edu.51cto.com/course/10932.html )

Spark2.x 实战应用系列三       ：Spark-core RDD API (https://edu.51cto.com/course/11058.html )

Spark2.x 实战应用系列四       ：Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )

Spark2.x 实战应用系列五       ：Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )

--------------------------------------Spark-SQL实战应用(专题：https://edu.51cto.com/topic/1319.html )------------------------------

Spark2.x 实战应用系列六       ：Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )

Spark2.x 实战应用系列八       ：Spark SQL with Hive (https://edu.51cto.com/course/11537.html )

---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------

Spark2.x 实战应用系列九       ：Spark Graphx实战(即将发布)

---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------

Spark2.x 实战应用系列十       ：Spark 机器学习实战(即将发布)

大数据实时流处理技术系列课程计划

---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html  )--------------

Spark2.x 实时流计算系列一：Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html  )

Spark2.x 实时流计算系列二：Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html  )

Spark2.x 实时流计算系列三：Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html  )

Spark2.x 实时流计算系列四：Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html  )

---------------------------------------Structured Streaming专题------------------------------------------------------------

Spark2.x 实时流计算系列五：Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )

本课程内容：

第一章：课程内容简介

第二章：需要的基础知识

2.1 DSL

2.2 SQL

2.3 数据格式的种类及其特点

第三章：Spark SQL的初衷

第四章： SQL On Hadoop

4.1 Hive

4.2 Impala

第五章： Spark SQL架构的发展

5.1 Shark

5.2 大事记

5.3 Spark SQL四大目标

5.4 Spark SQL架构及其处理流

第六章： Spark SQL API的发展

6.1 API实现的发展

6.2 DataFrame

6.3 Dataset

6.4 API演化的合理性

6.5 Dataset API分类

第七章： Spark SQL的未来