课程介绍
课程大纲
学习资料
学员评价
常见问题
Spark2.x 应用实战系列课程计划
------------------------------------Spark 2.x 入门指南-----------------------------------
Spark2.x 实战应用系列环境篇:Spark相关集群环境的搭建 (公开课,https://edu.51cto.com/course/11430.html )
Spark2.x 实战应用系列环境篇:Spark开发环境的搭建 (公开课,https://edu.51cto.com/course/11421.html )
Spark2.x 实战应用系列一 :怎样学习Spark (公开课,https://edu.51cto.com/course/11210.html )
-------------------------------------Spark-core实战应用(专题: https://edu.51cto.com/topic/1275.html )------------------------------
Spark2.x 实战应用系列二 :正确理解Spark (https://edu.51cto.com/course/10932.html )
Spark2.x 实战应用系列三 :Spark-core RDD API (https://edu.51cto.com/course/11058.html )
Spark2.x 实战应用系列四 :Spark-core 正确提交Spark应用 (https://edu.51cto.com/course/11132.html )
Spark2.x 实战应用系列五 :Spark-core Schedulers On Driver (https://edu.51cto.com/course/11206.html )
--------------------------------------Spark-SQL实战应用(专题:https://edu.51cto.com/topic/1319.html )------------------------------
Spark2.x 实战应用系列六 :Spark-SQL的前生今世以及未来 (https://edu.51cto.com/course/11277.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Java版) (https://edu.51cto.com/course/11496.html )
Spark2.x 实战应用系列七 :有SQL基础就可玩转Spark SQL(Scala版&Python版) (https://edu.51cto.com/course/11495.html )
Spark2.x 实战应用系列八 :Spark SQL with Hive (https://edu.51cto.com/course/11537.html )
---------------------------------------Spark-ml(机器学习)实战应用------------------------------------------------------------
大数据实时流处理技术系列课程计划
---------------------------------------Spark Streaming专题(https://edu.51cto.com/topic/1402.html )--------------
Spark2.x 实时流计算系列一:Spark Streaming编程模型 (https://edu.51cto.com/course/12327.html )
Spark2.x 实时流计算系列二:Spark Streaming性能与稳定 (https://edu.51cto.com/course/12326.html )
Spark2.x 实时流计算系列三:Spark Streaming容错与语义 (https://edu.51cto.com/course/12325.html )
Spark2.x 实时流计算系列四:Flume + Kafka + Spark Streaming (https://edu.51cto.com/course/12324.html )
---------------------------------------Structured Streaming专题------------------------------------------------------------
Spark2.x 实时流计算系列五:Structured Streaming解决的问题 (https://edu.51cto.com/course/12330.html )
学习Spark的前置知识测试
该课程需要将到的内容的简要概述
讲述了学习spark需要的环境
分布式存储的概念及其特点
基于真实的HDFS分布式集群系统来感受分布式存储
概述了什么是分布式计算,以及spark的分布式计算流程是什么样的
概述了一个计算节点的计算的输入需要多个计算节点的输出的情况,以及说明了涉及到数据的重新分区的三个层面
对本章中第一小节提出的spark分布式计算的流程中提出了几个疑问点,并且一一解答了
针对上个课时提出的疑问点,spark提出了RDD抽象一一解决了上面的问题,这个课时详细探讨RDD的几个特性
针对wordcount的spark代码,概述了RDD的一些api,并且看看RDD里面的重点属性
本课时介绍了RDD中transformation和action两种api的概念,以及介绍了rdd缓存api及其好处
通过理清两个常见会搞混的问题来达到理解spark分布式内存的真正含义弄懂spark RDD是为了解决什么问题而提出的
本课程包含了概述spark中的各个组件的关系,并详细的概述了spark core解决问题的特点
概述spark sql解决的问题及其特点描述了catalyst的功能及其特点
根据spark sql的概念的推进来描述spark sql的发展spark sql -> DataFrame -> DataSet
spark streaming的实时处理模式及其特点spark streaming在容错方面和其他框架比有什么优势
本课程说明了什么是图计算,spark是怎么表达图计算的,表达的过程中的特点是什么
以一个ALS的算法的大概实现概述了spark在机器学习中是怎么实现,以及基于spark的机器学习有什么优势
正确理解Spark测试
所属章节 | 资料名称 | 文件大小 | 下载 |
暂时还没有学习资料~
精品班精品小课支持在线购买,点击立即购买或者加入购物车后结算,完成在线支付即可, 支付方式可使用支付宝、微信、银联、京东白条。
购买精品班精品小课的所支付的金额,若学员继续购买同个讲师授课的精品班,可用于抵扣同等金额。详情可咨询在线客服了解。
精品班精品小课提供答疑服务,以及课程资料下载。另外我们邀请购买精品班精品小课的学员加入学习交流群(884087815),群内会不定期发布精品班相关福利活动,敬请关注。
讲师介绍
课程介绍
课程大纲
学习资料
学员评价
常见问题
5
1
非常糟
2
很差
3
一般
4
很好
5
非常好