- 畅销套餐
- 精选套餐
- 人气套餐
- 尊享套餐
- 高薪套餐
- 课程介绍
- 课程大纲
适合人群:
对Spark SQL和Hive有一定的了解
你将会学到:
用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容Hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。
课程简介:
用一个例子看懂Hive的使用方式;用一个例子看懂Spark SQL是如何兼容hive的;用一个案例弄明白什么情况下用Spark SQL以及什么情况下使用Hive。
更多的课程可以在51CTO学堂中搜索"老汤"
Spark2.x 应用实战系列课程计划
------------------------------------Spark 2.x 入门指南-----------------------------------
Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )
Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )
Spark2.x 实战应用系列一 :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )
-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html )------------------------------
Spark2.x 实战应用系列二 :正确理解Spark (https://edu.51cto.com/course/10932.html )
Spark2.x 实战应用系列三 :Spark-core RDD API (https://edu.51cto.com/course/11058.html )
Spark2.x 实战应用系列四 :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )
Spark2.x 实战应用系列五 :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )
--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------
Spark2.x 实战应用系列六 :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )
Spark2.x 实战应用系列八 :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )
---------------------------------------Spark-graphx(图计算)实战应用------------------------------------------------------------
Spark2.x 实战应用系列九 :Spark Graphx实战(即将发布)
---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------
Spark2.x 实战应用系列十 :Spark 机器学习实战(即将发布)
大数据实时流处理技术系列课程计划
---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html )--------------
Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html )
Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html )
Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html )
Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html )
---------------------------------------Structured Streaming专题------------------------------------------------------------
Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )
本课程内容:
第一章:课程内容以及环境
1、课程内容
2、课程需要的环境
第二章:基础准备
1、Thrift与Socket编程模型对比
2、Thrift的使用方法
3、课程数据准备
第三章:一个例子看懂Hive的使用方式
1、Hive CLI的用法
2、Hive beeline的用法
3、代码里JDBC的方式访问Hive
第四章:一个例子看懂Spark SQL兼容Hive
1、Spark SQL兼容Hive配置
2、通过beeline访问Spark SQL
3、通过JDBC访问Spark SQL
第五章:Spark SQL应用读写Hive数据源
1、Spark SQL代码中写SQL读写Hive
2、通过table和saveAsTable两个接口读写Hive
3、Spark SQL本地调试读写Hive
第六章:Spark SQL and Hive的**实践
1、案例业务讲解
2、ETL job详细讲解
3、机器学习推荐功能job详细讲解
4、Spark SQL和Hive的各自职责
课程大纲-[老汤]Spark 2.x实战应用系列八之Spark SQL with Hive
第1章课程内容以及环境(11分钟2节)
第2章基础准备(41分钟3节)
2-1
Thrift与Socket编程模型对比通过和socket编程模型进行对比来引出Thrift的作用
「仅限付费用户」点击下载“Spark SQL with Hive.pptx”
[16:37]开始学习2-2
Thrift的使用方法详细讲诉了Thrift的使用方法,包括其支持多语言的通讯,IDL以及代码生成工具等
「仅限付费用户」点击下载“spark-sql-hive源代码.zip”
[17:15]开始学习第3章一个例子看懂Hive的使用方式(38分钟3节)
第4章一个例子看懂Spark SQL兼容Hive(29分钟3节)
第5章Spark SQL应用读写Hive数据源(35分钟3节)
第6章Spark SQL and Hive的**实践(57分钟4节)
第7章NBA球员价值分析实战(6小时47分钟22节)
“老汤”老师的其他课程更多+