课程内容
用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。
更多的课程可以在51CTO学堂中搜索"老汤"
Spark2.x 应用实战系列课程计划
------------------------------------Spark 2.x 入门指南-----------------------------------
Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )
Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )
Spark2.x 实战应用系列一 :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )
-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html )------------------------------
Spark2.x 实战应用系列二 :正确理解Spark (https://edu.51cto.com/course/10932.html )
Spark2.x 实战应用系列三 :Spark-core RDD API (https://edu.51cto.com/course/11058.html )
Spark2.x 实战应用系列四 :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )
Spark2.x 实战应用系列五 :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )
--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------
Spark2.x 实战应用系列六 :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )
Spark2.x 实战应用系列八 :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )
---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------
Spark2.x 实战应用系列九 :Spark Graphx实战(即将发布)
---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------
Spark2.x 实战应用系列十 :Spark 机器学习实战(即将发布)
大数据实时流处理技术系列课程计划
---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html )--------------
Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html )
Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html )
Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html )
Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html )
---------------------------------------Structured Streaming专题------------------------------------------------------------
Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )
本课程内容:
第一章:课程内容以及环境
1、课程内容
2、课程需要的环境
第二章:基础准备
1、Thrift与Socket编程模型对比
2、Thrift的使用方法
3、课程数据准备
第三章:一个例子看懂Hive的使用方式
1、Hive CLI的用法
2、Hive beeline的用法
3、代码里JDBC的方式访问Hive
第四章:一个例子看懂Spark SQL兼容Hive
1、Spark SQL兼容Hive配置
2、通过beeline访问Spark SQL
3、通过JDBC访问Spark SQL
第五章:Spark SQL应用读写Hive数据源
1、Spark SQL代码中写SQL读写Hive
2、通过table和saveAsTable两个接口读写Hive
3、Spark SQL本地调试读写Hive
第六章:Spark SQL and Hive的**实践
1、案例业务讲解
2、ETL job详细讲解
3、机器学习推荐功能job详细讲解
4、Spark SQL和Hive的各自职责
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 课程内容以及环境
- 1-1试看 课程内容10:13
- 1-2试看 课程需要的环境01:41
- 第二章 基础准备
- 2-1Thrift与Socket编程模型对比16:37
- 2-2Thrift的使用方法17:15
- 2-3课程数据准备07:40
- 第三章 一个例子看懂Hive的使用方式
- 3-1Hive CLI的用法14:45
- 3-2Hive beeline的用法12:32
- 3-3代码里JDBC的方式访问Hive11:24
- 第四章 一个例子看懂Spark SQL兼容Hive
- 4-1Spark SQL兼容Hive配置13:07
- 4-2通过beeline访问Spark SQL09:51
![[老汤]公开课-怎样学习大数据技术](https://s2.51cto.com/images/201804/13/cb2ecfa36c5e7fce97fb40f3dccaea89.png?x-oss-process=image)
![[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api](https://s2.51cto.com/images/201712/05/9fc4c7642383d883436c792e143e2629.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列一之怎样学习Spark](https://s2.51cto.com/images/201712/05/131d359464cb24e2fdc6650e57421be3.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列之Spark开发环境搭建(windows)](https://s2.51cto.com/images/201712/05/2c8d6cf6b1ed0482c1b0a40879c32c7a.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列之Spark相关集群环境搭建](https://s2.51cto.com/images/201712/05/4d136836a384a95703f006c413b8d028.png?x-oss-process=image)
![大数据高级工程师:Spark 2.x 实战应用系列之正确理解Spark](https://s2.51cto.com/images/202003/12/923d02252ae35871033ab9f94a011cab.jpg?x-oss-process=image)
![[老汤]Spark 2.x之Scala内功修炼视频课程三-十二步体验Scala](https://s2.51cto.com/images/201712/05/eb4f5a5a1d2644713c9c92c0099e018f.png?x-oss-process=image)
![[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&java)](https://s2.51cto.com/images/202101/27/5f051c7bdc6a2a0f7ac26fe8fe5edd84.png?x-oss-process=image)