StreamSets进阶应用

1

大数据技术栈中常用数据摄取工具 介绍大数据技术栈中常用的数据摄取工具如Flume、Sqoop等的适用范围和痛点。

[10:26] 开始学习

2

StreamSets的特性及优势 介绍StreamSets Data Collector（SDC）的发展情况、适用范围、功能特性，以及相对上一代数据摄取工具的优势。

[07:22] 开始学习

3

安装和配置StreamSets 介绍如何使用各种不同的安装方式来安装和配置SDC。

[20:28] 开始学习

4

开发第一个管道 讲解和演示如何开发第一个简单的管道：将数据从本地磁盘采集到HDFS。

[12:25] 开始学习

5

数据预览 讲解和演示如何使用数据预览功能来简化开发过程。

[12:21] 开始学习

6

配置管道的基础属性 讲解和演示如何配置管道的基础属性，部分重点配置涉及管道的错误处理机制和一致性语义等。

[08:32] 开始学习

7

管道开发要点 介绍通用的管道开发流程，以及在开发时需要注意的9项要点。

[15:08] 开始学习

8

源端——Directory、File Tail、Ha 讲解和演示3类源端的使用：Directory、File Tail、Hadoop FS。

[09:47] 开始学习

9

源端——HTTP Server、Rest Servi 讲解和演示2类源端的使用：HTTP Server、Rest Service。

[08:54] 开始学习

10

源端——JDBC 讲解和演示2类源端的使用：JDBC Query Consumer、JDBC Multitable Consumer。

[22:01] 开始学习

11

源端——Mysql BinLog、Kafka Con 讲解和演示2类源端的使用：Mysql Binary Log、Kafka (Multitopic) Consumer。

[17:50] 开始学习

12

目标端——Hadoop FS、Local FS 讲解和演示2类目标端的使用：Hadoop FS、Local FS。

[12:04] 开始学习

13

目标端——Kafka Producer、JDBC P 讲解和演示2类目标端的使用：Kafka Producer、JDBC Producer。

[16:14] 开始学习

14

目标端——HBase、Kudu 讲解和演示2类目标端的使用：HBase、Kudu。

[14:20] 开始学习

15

目标端——SDC RPC、Trash 讲解和演示2类目标端的使用：SDC RPC、Trash。

[07:05] 开始学习

16

处理器——Field Remover等 讲解和演示3类处理器的使用：Field Remover/Replacer/Splitter。

[10:56] 开始学习

17

处理器——JDBC Lookup、Static Lo 讲解和演示2类处理器的使用：JDBC Lookup、Static Lookup。

[12:53] 开始学习

18

处理器——Stream Selector、JSON 讲解和演示2类处理器的使用：Stream Selector、JSON Parser。

[08:22] 开始学习

19

处理器——JavaScript Evaluator 讲解和演示1类处理器的使用：JavaScript Evaluator。

[10:59] 开始学习

20

数据流触发器 讲解和演示如何使用数据流触发器在处理完所有数据后停止管道。

[08:13] 开始学习