[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&python)

如果你有SQL基础以及scala/python任何一门语言的基础,那本门课程就可以带你Spark SQL

4800人学习

中级56课时2018/01/17更新

二维码下载学堂APP缓存视频离线看

老汤
    • 畅销套餐
    • 精选套餐
    • 人气套餐
    • 尊享套餐
    • 高薪套餐
从Scala到Spark 2.x专题
[老汤]Spark 2.x之Scala内功修炼视频课程四-面向对象编程基础
7286人学习
¥99.00
大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark
19754人学习
¥85.00
[老汤]Spark 2.x实战应用系列五之Schedulers On Driver
7141人学习
¥99.00
更 多 22 门 课 程
[老汤]Spark 2.x精讲套餐
大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark
19754人学习
¥85.00
[老汤]Spark 2.x实战应用系列五之Schedulers On Driver
7141人学习
¥99.00
[老汤]Spark 2.x实时流计算Flume+Kafka+Spark Streaming(系列四)
7332人学习
¥159.00
更 多 16 门 课 程
老汤大数据高级工程师课程
老汤大数据课程之 Hadoop 3
5140人学习
¥599.00
老汤大数据课程之Spark核心技术
6044人学习
¥899.00
老汤大数据课程之 HBase
2962人学习
¥489.00
更 多 35 门 课 程
[老汤]Spark 2.x 之精讲Spark Core
大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark
19754人学习
¥85.00
[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api
40153人学习
¥159.00
[老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用
5111人学习
¥99.00
更 多 4 门 课 程
[老汤]Spark 2.x 之精讲Spark Core
大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark
19754人学习
¥85.00
[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api
40153人学习
¥159.00
[老汤]Spark 2.x 实战应用系列四之Spark-core正确提交spark应用
5111人学习
¥99.00
更 多 4 门 课 程
  • 课程介绍
  • 课程大纲

适合人群:

有SQL、spark RDD的基础以及scala和python任何一门语言的基础

你将会学到:

如果你有SQL基础以及scala/python任何一门语言的基础,那本门课程就可以带你Spark SQL

课程简介:

本门课程多面且深入的讲述了spark SQL的知识点及其使用方式。采用传统数据库的SQL和Spark SQL做对比的手段使的我们理解Spark SQL。并且详细讲解了scala和python两门语言怎么使用Spark SQL,其中用scala讲述原理


更多的课程可以在51CTO学堂中搜索"老汤"


-------------------------------------------------------------------------------------------

Scala内功修炼系列课程计划(scala专题: https://edu.51cto.com/topic/1384.html  )



一、Scala内功修炼一:认识Scala (公开课,https://edu.51cto.com/course/12204.html )

二、Scala内功修炼二:怎样学习Scala (公开课,https://edu.51cto.com/course/12202.html  )

三、Scala内功修炼三:十二步体验Scala (公开课, https://edu.51cto.com/course/11756.html )

四、Scala内功修炼四:面向对象编程基础 (https://edu.51cto.com/course/11770.html )

五、Scala内功修炼五:函数式编程基础 (https://edu.51cto.com/course/11802.html )

六、Scala内功修炼六:隐式转换(https://edu.51cto.com/course/11814.html  )

七、Scala内功修炼七:类型系统 (https://edu.51cto.com/course/11849.html  )

八、Scala内功修炼八:模式匹配 (https://edu.51cto.com/course/11904.html  )

九、Scala内功修炼九:集合框架 (https://edu.51cto.com/course/12136.html  )


                 

 Spark2.x 应用实战系列课程计划


------------------------------------Spark 2.x 入门指南-----------------------------------

Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )

Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )

Spark2.x 实战应用系列一       :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )


-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html  )------------------------------

Spark2.x 实战应用系列二       :正确理解Spark (https://edu.51cto.com/course/10932.html )

Spark2.x 实战应用系列三       :Spark-core RDD API (https://edu.51cto.com/course/11058.html )

Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )

Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )


--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------

Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )

Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )

Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )

Spark2.x 实战应用系列八       :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )



---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------

Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)


---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------

Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)



大数据实时流处理技术系列课程计划


---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html  )--------------

Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html  )

Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html  )

Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html  )

Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html  )


---------------------------------------Structured Streaming专题------------------------------------------------------------

Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )





本课程内容:

第一章:

1、课程内容

2、课程需要的环境


第二章:spark SQL相关的基本概念

1、spark SQL基本概念

2、浅尝spark SQL的API

3、浅尝spark SQL的API(python版)

4、SparkSession的讲解

5、SparkSession的讲解(python版)


第三章Dataset/DataFrame的创建

1、DataFrame的创建

2、DataFrame的创建(python版)

3、schema的定义以及复杂数据类型的用法

4、schema api的用处

5、schema相关API的讲解(python版)


第四章spark SQL读写外部数据源

1、基本操作load和save

2、基本操作load和save(python版)

3、parquet和orc文件的读写

4、parquet和orc文件的读写(python版)

5、json文件的读写一

6、json文件的读写二

7、json文件的读写(python版)

8、csv文件的读写一

9、csv文件的读写二

10、csv文件的读写(python版)

11、通过jdbc读写mysql数据库

12、通过jdbc写mysql数据库需要注意的点

13、通过jdbc读mysql数据库需要注意的点

14、通过jdbc读写mysql数据库(python版)

15、text文件和table数据源的读写

16.、text文件和table数据源的读写(python版)

17、数据源实战之数据分区

18、数据源实战之数据分区(python版)


第五章: SQL操作spark SQL

1、catalog元数据管理讲解

2、catalog元数据管理讲解(python版)

3、DDL-表的类型种类及其创建方式

4、DDL-表的类型种类及其创建方式(python版)

5、DQL-sql查询及其sql函数讲解

6、DQL-sql查询及其sql函数讲解(python版)

7、SQL内置函数(很全)


第六章:Dataset/DataFrame的API的使用

1、Column的表达

2、Column的表达(python版)

3、DataFrame中Untyped API讲解

4、DataFrame中Untyped API讲解(python版)

5、DataFrame Untyped API与SQL对比

6、group分组聚合相关API

7、group分组聚合相关API(python版)

8、join关联相关API

9、join关联相关API(python版)

10、sort排序相关API

11、sort排序相关API(python版)

12、Action API和其他API


第六章:spark SQL实战

1、RDDs\DataFrames\Datasets各自使用场景

2、json格式数据处理

3、json格式数据处理(python版)

4、物联网设备信息的ETL

5、物联网设备信息的ETL(python版)




展开更多

课程大纲-[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&python)

展开更多
在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部