【大数据 Spark 2.x 流数据 多案例】Spark Streaming流数据处理基础与提升

1

spark流式处理框架介绍及对比-11.大数据生态圈常用的流式数据处理框架SparkStreaming、Storm/heron、Flink2.SparkStreaming与Storm在性能、使用场景的对比3.SparkStreaming的三种使用场景：1.有状态的操作 2.无状态的操作 3.窗口操作

2

Spark流式处理设计原理及编写streaming程序的三大1.最基本的抽象DStream2.基本原理：将数据以时间片进行划分，以批处理的形式处理时间片数据3.DStream和RDD的对应关系4.SparkStreaming中作业的提交5.Spark Streaming内部实现原理

3

【实战】Spark监控HDFS目录的两种常见应用场景及实战-1.SparkStreaming监控HDFS目录的两大应用场景2.textFileStream和fileStream的区别及应用场景3.使用fileStream对Path进行过滤

「仅限付费用户」点击下载“SparkStreaming.pptx”

4

【实战】SparkStreaming对Socket数据进行两1.有状态的WC统计操作2.无状态的WC统计操作3.updateStatusBykey进行有状态业务场景的实现4.自定义状态更新函数

5

【实战】Spark流数据处理之Zookeeper集群安装-51.安装zookerper集群2.配置zoo.cfg配置文件3.zkServer.sh start启动zk集群4.zkServer.sh status查看zk状态

6

【实战】Spark流数据处理之Kafka集群安装-61.配置brocker.id不唯一2.配置zookeper地址3.使用/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic 2017创建topic4.使用./kafka-console-producer.sh --broker-list localhost:9092 --topic 2017启动生产者5../kafka-console-consumer.sh --zookeeper localhost:2181 --topic 2017 --from-beginning消费topic6.查看topic列表： ./kafka-topics.sh --list --zookeeper localhost:2181

7

【实战】Spark流式数据处理之Kafka producer1.程序编写kafka producer生产数据2.使用./kafka-console-consumer.sh --zookeeper master:2181 --topic 2020 --from-beginning检验数据

「仅限付费用户」点击下载“code.zip”

8

【实战】Spark流式数据处理之Kafka consumer1.编写Kafka consumer 程序2.打通Kafka producer 和Kafka consumer

9

【实战】Spark流式数据处理之SparkStreaming1.在SparkStreaming中通过KafkaUtils的createDirectStream方法和Kafka建立连接2.得到InputDstream后做无状态的数据更新

10

【实战】Spark流式数据处理有状态的数据结果保存关系型数据1.SparkStreaming有状态的使用场景，updateStatusBykey方法的使用2.SparkStreaming程序中通过foreachRDD方法，将DStream的数据保存到关系型数据库3.SparkStreaming中使用DataFrame4.SparkStreaming和SparkSql的无缝整合

11

【实战】Spark流式数据处理之自定义数据接收器Receiv1.自定义Receiver数据接收器2.接收Socket数据自定义存储级别3.通过自定义接收器可以自己实现接收任意的数据源的数据

12

【实战】Spark流式数据处理之DStream抽象中的转换操1.DStream的常见转换2.DStream上的transform作用于每一个RDD3.常见的map/flatMap/filter等等操作

13

【实战】Spark流式数据处理之窗口操作-131.窗口操作简介2.窗口操作使用场景3.window方法实战4.其他窗口方法讲解

14

【实战】Spark流式数据处理之Socekt数据join K1.自定义Receiver数据接收器接收Socekt数据2.接收Kafka数据3.Socket数据join接收到的Kafka数据4.打印、保存数据

15

【实战】Spark流式数据处理之DStream的输出操作-11.DStream输出操作2.print操作3.saveAsTextFile操作

16

【实战】Spark流式数据处理之foreachRDD设计模式1.foreachRDD的使用场景2.foreachRDD对程序新能优化的本质原因

17

【实战】Spark流式数据处理之广播变量和累加器-171.broadcast广播变量的使用及使用场景2.accumulator累加器的使用及使用场景3.accumulator和广播变量实战

18

【实战】Spark流式数据处理之整合SparkSql-181.SparkStreaming中foreachRDD遍历DStream中的RDD2.引入SparkSql,将RDD转换为DataFrame3.使用DataFrame上的API对数据做保存操作4.注册成表使用SQL进行查询

19

【实战】Spark流式数据处理之Streaming程序性能调对于弹性的集群资源，最简单的方法是增加CPU核数，增加内存，增大网络带宽 优化并行度 资源参数调优 数据序列化与压缩 内存调优 广播大变量/两张表做join操作广播小表 持久化与checkpoint 数据本地性 垃圾回收调优 Shuffle调优

20

Spark流式数据处理之SpringBoot微服务框架环境的1.Spring boot搭建微服务2.Spring boot的pom文件配置3.Spring boot中的注解讲解4.Spring boot的主函数Application