专题 > 大数据 > Spark > 由浅入深精讲spark2.x之Spark SQL系列专题

由浅入深精讲spark2.x之Spark SQL系列专题

1: 掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQL;2: 详细并且全面的掌握Spark SQL所有的应用点;3: 用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用

3

门课程

43

人学习

 

课程总时长:17小时31分钟

授课讲师:汤卫群

打包优惠
 
大牛讲解
 
一键下载
 
讲师24h答疑
专题价 ¥173
立省33元
总价 ¥206

第一阶段:  Spark SQL的前世今生及未来

掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQL

1门课程 2小时33分钟
  • [老汤]Spark 2.x实战应用系列六之Spark SQL的前生今世及未来

    17节 2小时33分钟
    课程目标:
    本门课程历史性的和思想性的东西比较多,主要是根据Spark SQL的发展历史来达到思想上入门Spark SQL更多的课程可以在51CTO学院中搜索"老汤"第一章:课程内容简介第二章:需要的基础知识2.1 DSL2.2 SQL2.3 数据格式的种类及其特点第三章:Spark SQL的初衷第四章: SQL On Hadoop4.1 Hive4.2 Impala第五章: Spark SQL架构的发展5.1 Shark5.2 大事记5.3 Spark SQL四大目标5.4 Spark SQL架构及其处理流第六章: Spark SQL API的发展6.1 API实现的发展6.2 DataFrame6.3 Dataset6.4 API演化的合理性6.5 Dataset API分类第七章: Spark SQL的未来                                      spark2.x 实战应用系列课程计划安排spark2.x 实战应用系列环境篇(公开课):        spark相关集群环境的搭建:http://edu.51cto.com/course/11430.html         本课程的目的:spark相关集群环境的搭建spark2.x 实战应用系列环境篇(公开课):        spark开发环境的搭建:http://edu.51cto.com/course/11421.html         本课程的目的:spark开发环境的搭建spark2.x 实战应用系列一(公开课):        怎样学习spark:http://edu.51cto.com/course/11210.html         本课程的目的:怎么样去学习sparkspark2.x 实战应用系列二:        正确理解spark:http://edu.51cto.com/course/10932.html         本课程的目的:分别从思想上以及技术上入门spark、彻底掌握spark解决什么问题以及解决问题过程中的特点spark2.x 实战应用系列三:        spark-core RDD Api :http://edu.51cto.com/course/11058.html        本课程的目的:彻底熟练深入的掌握RDD的每一个Api的原理以及使用场景、熟练掌握SparkContext部分Api、从而达到可以实际开发spark应用spark2.x 实战应用系列四:        spark-core 正确提交spark应用:http://edu.51cto.com/course/11132.html        本课程的目的:理解spark-submit中每一个参数的含义及其用法、理解spark-submit的原理、从而达到使用spark-submit正确提交我们开发的spark应用spark2.x 实战应用系列五:        spark-core Schedulers On Driver:http://edu.51cto.com/course/11206.html         本课程的目的:深入理解DAG、Task以及资源的调度管理的原理,从而理解透spark提交job的流程原理,进而达到对spark应用调优的程度spark2.x 实战应用系列六:        spark-sql的前世今生及未来: http://edu.51cto.com/course/11277.html         本课程的目的:掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQLspark2.x 实战应用系列七:        有SQL的基础就可以玩转Spark SQL(scala版 & java版): http://edu.51cto.com/course/11496.html         本课程的目的:如果你有SQL基础以及java/scala任何一门语言的基础,那本门课程就可以带你玩转Spark SQLspark2.x 实战应用系列七:        有SQL的基础就可以玩转Spark SQL(scala版 & python版): http://edu.51cto.com/course/11495.html         本课程目的:如果你有SQL基础以及scala/python任何一门语言的基础,那本门课程就可以带你玩转Spark SQLspark2.x 实战应用系列八:        Spark SQL with Hive: http://edu.51cto.com/course/11537.html         本课程目标:用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。spark2.x 实战应用系列九:        spark-streaming: 即将发布

第二阶段:  玩转Spark SQL

如果你有SQL基础以及java/scala任何一门语言的基础,那本门课程就可以带你玩转Spark SQL,全面且详细的了解Spark SQL所有的应用点

1门课程 11小时22分钟
  • [老汤]Spark 2.x实战应用系列七之玩转Spark SQL(scala&java)

    60节 11小时22分钟
    课程目标:
    本门课程全面且深入的讲述了spark SQL的知识点及其使用方式。采用传统数据库的SQL和Spark SQL做对比的手段使的我们很轻易的理解Spark SQL。并且详细讲解了scala和java两门语言怎么使用Spark SQL,其中用scala讲述原理更多的课程可以在51CTO学院中搜索"老汤"第一章:1、课程内容2、课程需要的环境第二章:spark SQL相关的基本概念1、spark SQL基本概念2、浅尝spark SQL的API3、浅尝spark SQL的API(java版)4、SparkSession的讲解5、SparkSession的讲解(java版)第三章Dataset/DataFrame的创建1、DataFrame的创建2、DataFrame的创建(java版)3、Dataset的创建4、Dataset的创建(java版)5、RDD/Dataset/DataFrame的转换6、RDD/Dataset/DataFrame的转换(java版)7、schema的定义以及复杂数据类型的用法8、schema api的用处9、schema相关API的讲解(java版)第四章spark SQL读写外部数据源1、基本操作load和save2、基本操作load和save(java版)3、parquet和orc文件的读写4、parquet和orc文件的读写(java版)5、json文件的读写一6、json文件的读写二7、json文件的读写(java版)8、csv文件的读写一9、csv文件的读写二10、csv文件的读写(java版)11、通过jdbc读写mysql数据库12、通过jdbc写mysql数据库需要注意的点13、通过jdbc读mysql数据库需要注意的点14、通过jdbc读写mysql数据库(java版)15、text文件和table数据源的读写16.、text文件和table数据源的读写(java版)17、数据源实战之数据分区18、数据源实战之数据分区(java版)第五章: SQL操作spark SQL1、catalog元数据管理讲解2、catalog元数据管理讲解(java版)3、DDL-表的类型种类及其创建方式4、DDL-表的类型种类及其创建方式(java版)5、DQL-sql查询及其sql函数讲解6、DQL-sql查询及其sql函数讲解(java版)7、SQL内置函数(绝对全)第六章:Dataset/DataFrame的API的使用1、Column的表达2、Column的表达(java版)3、DataFrame中Untyped API讲解4、DataFrame中Untyped API讲解(java版)5、DataFrame Untyped API与SQL对比6、Dataset typed API7、Dataset typed API(java版)8、group分组聚合相关API9、group分组聚合相关API(java版)10、join关联相关API11、join关联相关API(java版)12、sort排序相关API13、sort排序相关API(java版)14、UDAF讲解15.1、UDAF讲解(java版)16、Action API和其他API第六章:spark SQL实战1、RDDs\DataFrames\Datasets各自使用场景2、json格式数据处理3、json格式数据处理(java版)4、物联网设备信息的ETL5、物联网设备信息的ETL(java版)                                                            spark2.x 实战应用系列课程计划安排spark2.x 实战应用系列环境篇(公开课):        spark相关集群环境的搭建:http://edu.51cto.com/course/11430.html         本课程的目的:spark相关集群环境的搭建spark2.x 实战应用系列环境篇(公开课):        spark开发环境的搭建:http://edu.51cto.com/course/11421.html         本课程的目的:spark开发环境的搭建spark2.x 实战应用系列一(公开课):        怎样学习spark:http://edu.51cto.com/course/11210.html         本课程的目的:怎么样去学习sparkspark2.x 实战应用系列二:        正确理解spark:http://edu.51cto.com/course/10932.html         本课程的目的:分别从思想上以及技术上入门spark、彻底掌握spark解决什么问题以及解决问题过程中的特点spark2.x 实战应用系列三:        spark-core RDD Api :http://edu.51cto.com/course/11058.html        本课程的目的:彻底熟练深入的掌握RDD的每一个Api的原理以及使用场景、熟练掌握SparkContext部分Api、从而达到可以实际开发spark应用spark2.x 实战应用系列四:        spark-core 正确提交spark应用:http://edu.51cto.com/course/11132.html        本课程的目的:理解spark-submit中每一个参数的含义及其用法、理解spark-submit的原理、从而达到使用spark-submit正确提交我们开发的spark应用spark2.x 实战应用系列五:        spark-core Schedulers On Driver:http://edu.51cto.com/course/11206.html         本课程的目的:深入理解DAG、Task以及资源的调度管理的原理,从而理解透spark提交job的流程原理,进而达到对spark应用调优的程度spark2.x 实战应用系列六:        spark-sql的前世今生及未来: http://edu.51cto.com/course/11277.html         本课程的目的:掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQLspark2.x 实战应用系列六:        有SQL的基础就可以玩转Spark SQL(scala版 & java版): http://edu.51cto.com/course/11496.html         本课程的目的:如果你有SQL基础以及java/scala任何一门语言的基础,那本门课程就可以带你玩转Spark SQLspark2.x 实战应用系列七:        有SQL的基础就可以玩转Spark SQL(scala版 & python版): http://edu.51cto.com/course/11495.html         本课程目的:如果你有SQL基础以及scala/python任何一门语言的基础,那本门课程就可以带你玩转Spark SQLspark2.x 实战应用系列八:        Spark SQL with Hive: http://edu.51cto.com/course/11537.html         本课程目标:用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。spark2.x 实战应用系列九:        spark-streaming: 即将发布

第三阶段:  Spark SQL with Hive

用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。

1门课程 3小时34分钟
  • [老汤]Spark 2.x实战应用系列八之Spark SQL with Hive

    18节 3小时34分钟
    课程目标:
    用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。更多的课程可以在51CTO学院中搜索"老汤"第一章:课程内容以及环境1、课程内容2、课程需要的环境第二章:基础准备1、Thrift与Socket编程模型对比2、Thrift的使用方法3、课程数据准备第三章:一个例子看懂Hive的使用方式1、Hive CLI的用法2、Hive beeline的用法3、代码里JDBC的方式访问Hive第四章:一个例子看懂Spark SQL兼容Hive1、Spark SQL兼容Hive配置2、通过beeline访问Spark SQL3、通过JDBC访问Spark SQL第五章:Spark SQL应用读写Hive数据源1、Spark SQL代码中写SQL读写Hive2、通过table和saveAsTable两个接口读写Hive3、Spark SQL本地调试读写Hive第六章:Spark SQL and Hive的最佳实践1、案例业务讲解2、ETL job详细讲解3、机器学习推荐功能job详细讲解4、Spark SQL和Hive的各自职责                                            spark2.x 实战应用系列课程计划安排spark2.x 实战应用系列环境篇(公开课):        spark相关集群环境的搭建:http://edu.51cto.com/course/11430.html         本课程的目的:spark相关集群环境的搭建spark2.x 实战应用系列环境篇(公开课):        spark开发环境的搭建:http://edu.51cto.com/course/11421.html         本课程的目的:spark开发环境的搭建spark2.x 实战应用系列一(公开课):        怎样学习spark:http://edu.51cto.com/course/11210.html         本课程的目的:怎么样去学习sparkspark2.x 实战应用系列二:        正确理解spark:http://edu.51cto.com/course/10932.html         本课程的目的:分别从思想上以及技术上入门spark、彻底掌握spark解决什么问题以及解决问题过程中的特点spark2.x 实战应用系列三:        spark-core RDD Api :http://edu.51cto.com/course/11058.html        本课程的目的:彻底熟练深入的掌握RDD的每一个Api的原理以及使用场景、熟练掌握SparkContext部分Api、从而达到可以实际开发spark应用spark2.x 实战应用系列四:        spark-core 正确提交spark应用:http://edu.51cto.com/course/11132.html        本课程的目的:理解spark-submit中每一个参数的含义及其用法、理解spark-submit的原理、从而达到使用spark-submit正确提交我们开发的spark应用spark2.x 实战应用系列五:        spark-core Schedulers On Driver:http://edu.51cto.com/course/11206.html         本课程的目的:深入理解DAG、Task以及资源的调度管理的原理,从而理解透spark提交job的流程原理,进而达到对spark应用调优的程度spark2.x 实战应用系列六:        spark-sql的前世今生及未来: http://edu.51cto.com/course/11277.html         本课程的目的:掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQLspark2.x 实战应用系列六:        有SQL的基础就可以玩转Spark SQL(scala版 & java版): http://edu.51cto.com/course/11496.html         本课程的目的:如果你有SQL基础以及java/scala任何一门语言的基础,那本门课程就可以带你玩转Spark SQLspark2.x 实战应用系列七:        有SQL的基础就可以玩转Spark SQL(scala版 & python版): http://edu.51cto.com/course/11495.html         本课程目的:如果你有SQL基础以及scala/python任何一门语言的基础,那本门课程就可以带你玩转Spark SQLspark2.x 实战应用系列八:        Spark SQL with Hive: http://edu.51cto.com/course/11537.html         本课程目标:用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。spark2.x 实战应用系列九:        spark-streaming: 即将发布

由浅入深精讲spark2.x之Spark SQL系列专题

¥206 ¥173

可以开发票么?

可以的,购买课程或者充值余额后都是可以开具发票的,具体详情点击:我要开发票

购买的课程可以下载么?

目前PC端暂不支持下载课程视频,请手机或者平板电脑下载“51CTO学院”APP后再下载视频哦!

优惠券如何使用?

非折扣课程(不包含1元课程/套餐)可使用,一个订单(可包含多个课程)只可使用一张;优惠券一经使用,不再返还;若被冻结请在PC端删除订单即可返还。

更多问题查询点击 帮助中心

欢迎您提供宝贵意见,对于您的意见我们都会认真、慎重的讨论,每一个意见都是我们更好为您服务的鞭策和激励,感谢您帮助学院成长,我要反馈意见