专题 > 大数据 > Spark > [老汤]Spark 2.x 之精讲Spark SQL专题

[老汤]Spark 2.x 之精讲Spark SQL专题

1: 掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQL;2: 详细并且全面的掌握Spark SQL所有的应用点;3: 用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用

3

门课程

408

人学习

 

课程总时长:17小时31分钟

授课讲师:老汤

打包优惠
 
大牛讲解
 
一键下载
 
讲师24h答疑
专题价 ¥182
立省34元
总价 ¥216

第一阶段:  Spark SQL的前世今生及未来

掌握Spark SQL的前生今世及未来,从而达到思想上入门Spark SQL

1门课程 2小时33分钟
  • [老汤]Spark 2.x实战应用系列六之Spark SQL的前生今世及未来

    17节 2小时33分钟
    课程目标:
    本门课程历史性的和思想性的东西比较多,主要是根据Spark SQL的发展历史来达到思想上入门Spark SQL更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:课程内容简介第二章:需要的基础知识2.1 DSL2.2 SQL2.3 数据格式的种类及其特点第三章:Spark SQL的初衷第四章: SQL On Hadoop4.1 Hive4.2 Impala第五章: Spark SQL架构的发展5.1 Shark5.2 大事记5.3 Spark SQL四大目标5.4 Spark SQL架构及其处理流第六章: Spark SQL API的发展6.1 API实现的发展6.2 DataFrame6.3 Dataset6.4 API演化的合理性6.5 Dataset API分类第七章: Spark SQL的未来

第二阶段:  玩转Spark SQL

如果你有SQL基础以及java/scala任何一门语言的基础,那本门课程就可以带你玩转Spark SQL,全面且详细的了解Spark SQL所有的应用点

1门课程 11小时22分钟
  • [老汤]Spark 2.x实战应用系列七之玩转Spark SQL(scala&java)

    60节 11小时22分钟
    课程目标:
    本门课程全面且深入的讲述了spark SQL的知识点及其使用方式。采用传统数据库的SQL和Spark SQL做对比的手段使的我们很轻易的理解Spark SQL。并且详细讲解了scala和java两门语言怎么使用Spark SQL,其中用scala讲述原理更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:1、课程内容2、课程需要的环境第二章:spark SQL相关的基本概念1、spark SQL基本概念2、浅尝spark SQL的API3、浅尝spark SQL的API(java版)4、SparkSession的讲解5、SparkSession的讲解(java版)第三章Dataset/DataFrame的创建1、DataFrame的创建2、DataFrame的创建(java版)3、Dataset的创建4、Dataset的创建(java版)5、RDD/Dataset/DataFrame的转换6、RDD/Dataset/DataFrame的转换(java版)7、schema的定义以及复杂数据类型的用法8、schema api的用处9、schema相关API的讲解(java版)第四章spark SQL读写外部数据源1、基本操作load和save2、基本操作load和save(java版)3、parquet和orc文件的读写4、parquet和orc文件的读写(java版)5、json文件的读写一6、json文件的读写二7、json文件的读写(java版)8、csv文件的读写一9、csv文件的读写二10、csv文件的读写(java版)11、通过jdbc读写mysql数据库12、通过jdbc写mysql数据库需要注意的点13、通过jdbc读mysql数据库需要注意的点14、通过jdbc读写mysql数据库(java版)15、text文件和table数据源的读写16.、text文件和table数据源的读写(java版)17、数据源实战之数据分区18、数据源实战之数据分区(java版)第五章: SQL操作spark SQL1、catalog元数据管理讲解2、catalog元数据管理讲解(java版)3、DDL-表的类型种类及其创建方式4、DDL-表的类型种类及其创建方式(java版)5、DQL-sql查询及其sql函数讲解6、DQL-sql查询及其sql函数讲解(java版)7、SQL内置函数(绝对全)第六章:Dataset/DataFrame的API的使用1、Column的表达2、Column的表达(java版)3、DataFrame中Untyped API讲解4、DataFrame中Untyped API讲解(java版)5、DataFrame Untyped API与SQL对比6、Dataset typed API7、Dataset typed API(java版)8、group分组聚合相关API9、group分组聚合相关API(java版)10、join关联相关API11、join关联相关API(java版)12、sort排序相关API13、sort排序相关API(java版)14、UDAF讲解15.1、UDAF讲解(java版)16、Action API和其他API第六章:spark SQL实战1、RDDs\DataFrames\Datasets各自使用场景2、json格式数据处理3、json格式数据处理(java版)4、物联网设备信息的ETL5、物联网设备信息的ETL(java版)

第三阶段:  Spark SQL with Hive

用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。

1门课程 3小时34分钟
  • [老汤]Spark 2.x实战应用系列八之Spark SQL with Hive

    18节 3小时34分钟
    课程目标:
    用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。更多的课程可以在51CTO学院中搜索"老汤"-------------------------------------------------------------------------------------------Scala内功修炼系列课程计划(scala专题: http://edu.51cto.com/topic/1384.html  )一、Scala内功修炼一:认识Scala (公开课,http://edu.51cto.com/course/12204.html )二、Scala内功修炼二:怎样学习Scala (公开课,http://edu.51cto.com/course/12202.html  )三、Scala内功修炼三:十二步体验Scala (公开课, http://edu.51cto.com/course/11756.html )四、Scala内功修炼四:面向对象编程基础 (http://edu.51cto.com/course/11770.html )五、Scala内功修炼五:函数式编程基础 (http://edu.51cto.com/course/11802.html )六、Scala内功修炼六:隐式转换(http://edu.51cto.com/course/11814.html  )七、Scala内功修炼七:类型系统 (http://edu.51cto.com/course/11849.html  )八、Scala内功修炼八:模式匹配 (http://edu.51cto.com/course/11904.html  )九、Scala内功修炼九:集合框架 (http://edu.51cto.com/course/12136.html  )                  Spark2.x 应用实战系列课程计划------------------------------------Spark 2.x 入门指南-----------------------------------Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,http://edu.51cto.com/course/11430.html )Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,http://edu.51cto.com/course/11421.html )Spark2.x 实战应用系列一       :怎样学习Spark (公开课,http://edu.51cto.com/course/11210.html )-------------------------------------Spark-core实战应用(专题: http://edu.51cto.com/topic/1275.html  )------------------------------Spark2.x 实战应用系列二       :正确理解Spark (http://edu.51cto.com/course/10932.html )Spark2.x 实战应用系列三       :Spark-core RDD API (http://edu.51cto.com/course/11058.html )Spark2.x 实战应用系列四       :Spark-core 正确提交Spark应用 (http://edu.51cto.com/course/11132.html )Spark2.x 实战应用系列五       :Spark-core Schedulers On Driver (http://edu.51cto.com/course/11206.html )--------------------------------------Spark-SQL实战应用(专题:http://edu.51cto.com/topic/1319.html )------------------------------Spark2.x 实战应用系列六       :Spark-SQL的前生今世以及未来 (http://edu.51cto.com/course/11277.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Java版) (http://edu.51cto.com/course/11496.html )Spark2.x 实战应用系列七       :有SQL基础就可玩转Spark SQL(Scala版&Python版) (http://edu.51cto.com/course/11495.html )Spark2.x 实战应用系列八       :Spark SQL with Hive (http://edu.51cto.com/course/11537.html )---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------Spark2.x 实战应用系列九       :Spark Graphx实战(即将发布)---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------Spark2.x 实战应用系列十       :Spark 机器学习实战(即将发布)大数据实时流处理技术系列课程计划---------------------------------------Spark Streaming专题(http://edu.51cto.com/topic/1402.html  )--------------Spark2.x 实时流计算系列一:Spark Streaming编程模型 (http://edu.51cto.com/course/12327.html  )Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (http://edu.51cto.com/course/12326.html  )Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (http://edu.51cto.com/course/12325.html  )Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (http://edu.51cto.com/course/12324.html  )---------------------------------------Structured Streaming专题------------------------------------------------------------Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (http://edu.51cto.com/course/12330.html )本课程内容:第一章:课程内容以及环境1、课程内容2、课程需要的环境第二章:基础准备1、Thrift与Socket编程模型对比2、Thrift的使用方法3、课程数据准备第三章:一个例子看懂Hive的使用方式1、Hive CLI的用法2、Hive beeline的用法3、代码里JDBC的方式访问Hive第四章:一个例子看懂Spark SQL兼容Hive1、Spark SQL兼容Hive配置2、通过beeline访问Spark SQL3、通过JDBC访问Spark SQL第五章:Spark SQL应用读写Hive数据源1、Spark SQL代码中写SQL读写Hive2、通过table和saveAsTable两个接口读写Hive3、Spark SQL本地调试读写Hive第六章:Spark SQL and Hive的最佳实践1、案例业务讲解2、ETL job详细讲解3、机器学习推荐功能job详细讲解4、Spark SQL和Hive的各自职责

[老汤]Spark 2.x 之精讲Spark SQL专题

¥216 ¥182
注册登录免费享