大数据开发实战之点击流<三>流式计算

你将可以使用Spark Streming及Structured Streaming处理数据

2095人学习

初级6课时2019/08/08更新

二维码下载学堂APP缓存视频离线看

朱焕青
朱焕青新锐讲师讲师评分4.8学员26226课程9

一个不安分的程序员

更多
    • 畅销套餐
    • 精选套餐
    • 人气套餐
    • 尊享套餐
    • 高薪套餐
大数据开发工程师实战
程序员读书之LearningSpark
234人学习
¥2.00
大数据开发实战之点击流<二>数据抽取
2188人学习
¥38.00
大数据开发实战之点击流<三>流式计算
2095人学习
¥20.90
更 多 3 门 课 程
GoldenGate+ETL/Kettle专题(92个项目)
GoldenGate数据库容灾迁移01(OGG同构异构、数据库迁移、数据同步、容灾复制)
161470人学习
¥998.00
GoldenGate数据库容灾迁移02(OGG同构异构、数据库迁移、数据同步、容灾复制)
42385人学习
¥889.00
GoldenGate数据库容灾迁移03(OGG同构异构、数据库迁移、数据同步、容灾复制)
22303人学习
¥889.00
更 多 7 门 课 程
大数据运维架构师实战培训专题2.0
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
78029人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
30778人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
29651人学习
¥399.00
更 多 12 门 课 程
赵强-大数据课程之从Hadoop到Spark专题
赵渝强老师:Hadoop 2.x(一) 大数据基础实战视频课程
67213人学习
¥279.00
赵渝强老师:Spark系列视频课程之一:Scala编程语言视频课程
19759人学习
¥179.00
赵渝强老师:Spark 2系列视频课程之二:Spark Core
14650人学习
¥279.00
更 多 11 门 课 程
赵强-大数据课程之从Hadoop到Spark专题
赵渝强老师:Hadoop 2.x(一) 大数据基础实战视频课程
67213人学习
¥279.00
赵渝强老师:Spark系列视频课程之一:Scala编程语言视频课程
19759人学习
¥179.00
赵渝强老师:Spark 2系列视频课程之二:Spark Core
14650人学习
¥279.00
更 多 11 门 课 程
  • 课程介绍
  • 课程大纲

适合人群:

想了解、练习使用实时计算流式处理的同学

你将会学到:

你将可以使用Spark Streming及Structured Streaming处理数据

课程简介:

tianlangstuio-clickstream-humor.png

====程序员的ChangeLog====

==20190808

视频《编写统计程序》已提交审核

至此课程已完结 

为庆祝学员数突破1000 新课程销量排行第1

https://edu.51cto.com/ranking/121-pay-week.html

特将视频《编写统计程序》免费开放

感谢支持!


==20190805

课程已完成大半 取消新课五折优惠

==20190803

视频《编写ETL3》已提交审核

==20190802

2019年08月01号第一次获得付费学员

感谢yangphere

感谢大家的支持!

视频《编写ETL1》已提交审核

视频《编写ETL2》已提交审核

××××××××××××××××××××××××


请先免费观看上期视频:

前端采集环境准备 https://edu.51cto.com/course/18823.html

本期视频在语言及视频清晰度等方面均有很大改善,课程涵盖从nginx日志配置到采用Flume容器抽取Nginx日志到Kafka中,你将接触更多的Docker实用操作及大数据组件Flume、Kafka

关于开发环境:

操作系统:

Linux  4.15.0-47-generic

Docker:

    Client:

     Version:           18.09.7

     API version:       1.39

     Go version:        go1.10.8

    

    Server: Docker Engine - Community

     Engine:

      Version:          18.09.7

      API version:      1.39 (minimum version 1.12)

      Go version:       go1.10.8

关于视频制作:

       为了节约您的时间提高学习效率我们将原始视频从1个小时剪辑压缩到10分钟左右,剪辑掉了程序执行、文件下载等时间,由此可能引起视频场景切换不平滑等问题,请知悉!

关于讲师:

      曾任美国上市公司大数据架构师

      曾任公安行业公司首席架构师

      自我学习者

      211/985学历,BAT名企工作背景都没有,一路自学从初级工程师做到**架构师,从月薪500做到年限50万,我还是个孩子,还是那个没伞的孩子


关于讲师讲解风格:

        这是实战课,实战课,实战课……

想了解Docker、Spark、Hadoop等概念的请绕行。

以简单的方式重现真实项目场景,通过真实的项目实战串联Docker、Nginx、Spark、Redis等技术点。

以问题为导向引导学员思考培养解决问题能力。

通过本课程你将具备搭建点击流系统的能力,加深对大数据、Docker的理解,增加项目经验。


展开更多

课程大纲-大数据开发实战之点击流<三>流式计算

  • 1

    实时计算漫谈介绍大数据平台演进历程为什么会有流式计算?为什么批流一平台?为什么有人说Flink是第四代计算引擎

    「仅限付费用户」点击下载“streaming-intro.pdf”

    [05:21]
  • 2

    数据处理流程介绍数据处理流程:数据采集->数据存储->数据计算->数据输出(数据中台)->数据可视化

    「仅限付费用户」点击下载“data-process-intro.pdf”

    [07:12]
  • 3

    编写ETL程序1使用SparkStreming读取Kafka数据

    「仅限付费用户」点击下载“clickstream-etl1.zip”

    [08:47]
  • 4

    编写ETL程序2使用Spark Streaming、正则表达式、Scala模式匹配清洗转换数据

    「仅限付费用户」点击下载“clickstream-etl1.zip”

    [07:49]
  • 5

    编写ETL程序3使用SparkStreaming、KafkaProducer将经过清洗转换的数据写入Kafka

    「仅限付费用户」点击下载“clickstream-write-etl3.zip”

    [11:02]
  • 6

    编写统计程序如何使用Spark Structed Streming每10秒种统计一次按钮点击次数?为什么程序员的技术广度也很重要?为什么有时候一个全栈工程师比一个前端加一个后端工程师效率还要高?

    「仅限付费用户」点击下载“clickstream-stat.zip”

    [13:13]

“朱焕青”老师的其他课程更多+

在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部