DataFrame的创建
本门课程多面且深入的讲述了spark SQL的知识点及其使用方式。采用传统数据库的SQL和Spark SQL做对比的手段使的我们很轻易的理解Spark SQL。并且详细讲解了scala和java两门语言怎么使用Spark SQL,其中用scala讲述原理
更多的课程可以在51CTO学堂中搜索"老汤"
Spark2.x 应用实战系列课程计划
------------------------------------Spark 2.x 入门指南-----------------------------------
Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )
Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )
Spark2.x 实战应用系列一 :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )
-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html )------------------------------
Spark2.x 实战应用系列二 :正确理解Spark (https://edu.51cto.com/course/10932.html )
Spark2.x 实战应用系列三 :Spark-core RDD API (https://edu.51cto.com/course/11058.html )
Spark2.x 实战应用系列四 :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )
Spark2.x 实战应用系列五 :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )
--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------
Spark2.x 实战应用系列六 :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )
Spark2.x 实战应用系列八 :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )
---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------
Spark2.x 实战应用系列九 :Spark Graphx实战(即将发布)
---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------
Spark2.x 实战应用系列十 :Spark 机器学习实战(即将发布)
大数据实时流处理技术系列课程计划
---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html )--------------
Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html )
Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html )
Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html )
Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html )
---------------------------------------Structured Streaming专题------------------------------------------------------------
Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )
本课程内容:
第一章:
1、课程内容
2、课程需要的环境
第二章:spark SQL相关的基本概念
1、spark SQL基本概念
2、浅尝spark SQL的API
3、浅尝spark SQL的API(java版)
4、SparkSession的讲解
5、SparkSession的讲解(java版)
第三章Dataset/DataFrame的创建
1、DataFrame的创建
2、DataFrame的创建(java版)
3、Dataset的创建
4、Dataset的创建(java版)
5、RDD/Dataset/DataFrame的转换
6、RDD/Dataset/DataFrame的转换(java版)
7、schema的定义以及复杂数据类型的用法
8、schema api的用处
9、schema相关API的讲解(java版)
第四章spark SQL读写外部数据源
1、基本操作load和save
2、基本操作load和save(java版)
3、parquet和orc文件的读写
4、parquet和orc文件的读写(java版)
5、json文件的读写一
6、json文件的读写二
7、json文件的读写(java版)
8、csv文件的读写一
9、csv文件的读写二
10、csv文件的读写(java版)
11、通过jdbc读写mysql数据库
12、通过jdbc写mysql数据库需要注意的点
13、通过jdbc读mysql数据库需要注意的点
14、通过jdbc读写mysql数据库(java版)
15、text文件和table数据源的读写
16.、text文件和table数据源的读写(java版)
17、数据源实战之数据分区
18、数据源实战之数据分区(java版)
第五章: SQL操作spark SQL
1、catalog元数据管理讲解
2、catalog元数据管理讲解(java版)
3、DDL-表的类型种类及其创建方式
4、DDL-表的类型种类及其创建方式(java版)
5、DQL-sql查询及其sql函数讲解
6、DQL-sql查询及其sql函数讲解(java版)
7、SQL内置函数(很全)
第六章:Dataset/DataFrame的API的使用
1、Column的表达
2、Column的表达(java版)
3、DataFrame中Untyped API讲解
4、DataFrame中Untyped API讲解(java版)
5、DataFrame Untyped API与SQL对比
6、Dataset typed API
7、Dataset typed API(java版)
8、group分组聚合相关API
9、group分组聚合相关API(java版)
10、join关联相关API
11、join关联相关API(java版)
12、sort排序相关API
13、sort排序相关API(java版)
14、UDAF讲解
15.1、UDAF讲解(java版)
16、Action API和其他API
第六章:spark SQL实战
1、RDDs\DataFrames\Datasets各自使用场景
2、json格式数据处理
3、json格式数据处理(java版)
4、物联网设备信息的ETL
5、物联网设备信息的ETL(java版)
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
![[老汤]公开课-怎样学习大数据技术](https://s2.51cto.com/images/201804/13/cb2ecfa36c5e7fce97fb40f3dccaea89.png?x-oss-process=image)
![[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api](https://s2.51cto.com/images/201712/05/9fc4c7642383d883436c792e143e2629.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列一之怎样学习Spark](https://s2.51cto.com/images/201712/05/131d359464cb24e2fdc6650e57421be3.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列之Spark开发环境搭建(windows)](https://s2.51cto.com/images/201712/05/2c8d6cf6b1ed0482c1b0a40879c32c7a.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列之Spark相关集群环境搭建](https://s2.51cto.com/images/201712/05/4d136836a384a95703f006c413b8d028.png?x-oss-process=image)
![大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark](https://s2.51cto.com/images/202003/12/923d02252ae35871033ab9f94a011cab.jpg?x-oss-process=image)
![[老汤]Spark 2.x之Scala内功修炼视频课程三-十二步体验Scala](https://s2.51cto.com/images/201712/05/eb4f5a5a1d2644713c9c92c0099e018f.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&java)](https://s2.51cto.com/images/202101/27/5f051c7bdc6a2a0f7ac26fe8fe5edd84.png?x-oss-process=image)