- 畅销套餐
- 精选套餐
- 人气套餐
- 尊享套餐
- 高薪套餐
- 课程介绍
- 课程大纲
适合人群:
本课程适合于具有Spark基础,并想进一步学习Spark Streaming的学员
你将会学到:
学习并学习Spark Streaming的基本原理;并学习使用Spark Streaming的基本数据源和高级数据源来采集数据。了解并学习Spark Streaming优化的基本原则
课程简介:
Spark是一个类似于MapReduce的分布式计算框架,其核心是弹性分布式数据集,提供了比MapReduce更丰富的模型,可以在快速在内存中对数据集进行多次迭代,以支持复杂的数据挖掘算法和图形计算算法。Spark Streaming是一种构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。
赵渝强老师博客地址:http://collen7788.blog.51cto.com/
《赵渝强老师:Spark系列视频课程》
===================================================
1、Spark系列视频课程之一:Scala编程语言
https://edu.51cto.com/course/6724.html
2、Spark系列视频课程之二:Spark Core
https://edu.51cto.com/course/10698.html
3、Spark系列视频课程之三:Spark SQL
https://edu.51cto.com/course/10796.html
4、Spark系列视频课程之四:Spark Streaming
https://edu.51cto.com/course/11066.html
5、Spark系列视频课程之五:Spark Structured Streaming
即将发布
===《Spark 2 系列视频课程之四:Spark Streaming》课程大纲===
一、Spark Streaming基础
1、Spark Streaming简介
2、Spark Streaming的特点
3、Spark Streaming的内部结构
4、小小案例:wordcount程序:NetworkWordCount
5、开发自己的NetworkWordCount
二、Spark Streaming进阶
1、StreamingContext 对象详解
2、离散流: DStream
3、DStream的转换操作
4、窗口操作
5、DStream的输入:基本数据源
6、DStream的输出操作和foreachRDD的设计模式
7、DataFrame和SQL操作
8、缓存和持久化
9、检查点
三、高级数据源
1、集成Flume
2、集成Kafka
四、性能优化
1、减少批数据的执行时间
2、如何设置批的容量
3、内存调优
课程大纲-赵渝强老师:Spark 2 系列视频课程之四:Spark Streaming
第1章Spark Streaming基础(58分钟4节)
第2章Spark Streaming进阶(2小时29分钟9节)
第3章高级数据源(1小时38分钟6节)
第4章性能优化(6分钟1节)
“赵渝强”老师的其他课程更多+