浅尝Spark SQL的API

本门课程多面且深入的讲述了spark SQL的知识点及其使用方式。采用传统数据库的SQL和Spark SQL做对比的手段使的我们很轻易的理解Spark SQL。并且详细讲解了scala和java两门语言怎么使用Spark SQL，其中用scala讲述原理

更多的课程可以在51CTO学堂中搜索"老汤"

-------------------------------------------------------------------------------------------

Scala内功修炼系列课程计划(scala专题： https://edu.51cto.com/topic/1384.html  )

一、Scala内功修炼一：认识Scala (公开课，https://edu.51cto.com/course/12204.html )

二、Scala内功修炼二：怎样学习Scala (公开课，https://edu.51cto.com/course/12202.html  )

三、Scala内功修炼三：十二步体验Scala (公开课， https://edu.51cto.com/course/11756.html )

四、Scala内功修炼四：面向对象编程基础 (https://edu.51cto.com/course/11770.html )

五、Scala内功修炼五：函数式编程基础 (https://edu.51cto.com/course/11802.html )

六、Scala内功修炼六：隐式转换(https://edu.51cto.com/course/11814.html  )

七、Scala内功修炼七：类型系统 (https://edu.51cto.com/course/11849.html  )

八、Scala内功修炼八：模式匹配 (https://edu.51cto.com/course/11904.html  )

九、Scala内功修炼九：集合框架 (https://edu.51cto.com/course/12136.html  )

 Spark2.x 应用实战系列课程计划

------------------------------------Spark 2.x 入门指南-----------------------------------

Spark2.x 实战应用系列环境篇：Spark相关集群环境的搭建 (公开课，https://edu.51cto.com/course/11430.html )

Spark2.x 实战应用系列环境篇：Spark开发环境的搭建 (公开课，https://edu.51cto.com/course/11421.html )

Spark2.x 实战应用系列一       ：怎样学习Spark (公开课，https://edu.51cto.com/course/11210.html )

-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html  )------------------------------

Spark2.x 实战应用系列二       ：正确理解Spark (https://edu.51cto.com/course/10932.html )

Spark2.x 实战应用系列三       ：Spark-core RDD API (https://edu.51cto.com/course/11058.html )

Spark2.x 实战应用系列四       ：Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )

Spark2.x 实战应用系列五       ：Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )

--------------------------------------Spark-SQL实战应用(专题：https://edu.51cto.com/topic/1319.html )------------------------------

Spark2.x 实战应用系列六       ：Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )

Spark2.x 实战应用系列七       ：有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )

Spark2.x 实战应用系列八       ：Spark SQL with Hive (https://edu.51cto.com/course/11537.html )

---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------

Spark2.x 实战应用系列九       ：Spark Graphx实战(即将发布)

---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------

Spark2.x 实战应用系列十       ：Spark 机器学习实战(即将发布)

大数据实时流处理技术系列课程计划

---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html  )--------------

Spark2.x 实时流计算系列一：Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html  )

Spark2.x 实时流计算系列二：Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html  )

Spark2.x 实时流计算系列三：Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html  )

Spark2.x 实时流计算系列四：Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html  )

---------------------------------------Structured Streaming专题------------------------------------------------------------

Spark2.x 实时流计算系列五：Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )

本课程内容：

第一章：

1、课程内容

2、课程需要的环境

第二章：spark SQL相关的基本概念

1、spark SQL基本概念

2、浅尝spark SQL的API

3、浅尝spark SQL的API(java版)

4、SparkSession的讲解

5、SparkSession的讲解(java版)

第三章Dataset/DataFrame的创建

1、DataFrame的创建

2、DataFrame的创建(java版)

3、Dataset的创建

4、Dataset的创建(java版)

5、RDD/Dataset/DataFrame的转换

6、RDD/Dataset/DataFrame的转换(java版)

7、schema的定义以及复杂数据类型的用法

8、schema api的用处

9、schema相关API的讲解(java版)

第四章spark SQL读写外部数据源

1、基本操作load和save

2、基本操作load和save(java版)

3、parquet和orc文件的读写

4、parquet和orc文件的读写(java版)

5、json文件的读写一

6、json文件的读写二

7、json文件的读写(java版)

8、csv文件的读写一

9、csv文件的读写二

10、csv文件的读写(java版)

11、通过jdbc读写mysql数据库

12、通过jdbc写mysql数据库需要注意的点

13、通过jdbc读mysql数据库需要注意的点

14、通过jdbc读写mysql数据库(java版)

15、text文件和table数据源的读写

16.、text文件和table数据源的读写(java版)

17、数据源实战之数据分区

18、数据源实战之数据分区(java版)

第五章: SQL操作spark SQL

1、catalog元数据管理讲解

2、catalog元数据管理讲解(java版)

3、DDL-表的类型种类及其创建方式

4、DDL-表的类型种类及其创建方式(java版)

5、DQL-sql查询及其sql函数讲解

6、DQL-sql查询及其sql函数讲解(java版)

7、SQL内置函数(很全)

第六章：Dataset/DataFrame的API的使用

1、Column的表达

2、Column的表达(java版)

3、DataFrame中Untyped API讲解

4、DataFrame中Untyped API讲解(java版)

5、DataFrame Untyped API与SQL对比

6、Dataset typed API

7、Dataset typed API(java版)

8、group分组聚合相关API

9、group分组聚合相关API(java版)

10、join关联相关API

11、join关联相关API(java版)

12、sort排序相关API

13、sort排序相关API(java版)

14、UDAF讲解

15.1、UDAF讲解(java版)

16、Action API和其他API

第六章：spark SQL实战

1、RDDs\DataFrames\Datasets各自使用场景

2、json格式数据处理

3、json格式数据处理(java版)

4、物联网设备信息的ETL

5、物联网设备信息的ETL(java版)