StreamSets进阶应用

1

大数据技术栈中常用数据摄取工具介绍大数据技术栈中常用的数据摄取工具如Flume、Sqoop等的适用范围和痛点。

2

StreamSets的特性及优势介绍StreamSets Data Collector（SDC）的发展情况、适用范围、功能特性，以及相对上一代数据摄取工具的优势。

3

安装和配置StreamSets介绍如何使用各种不同的安装方式来安装和配置SDC。

4

开发第一个管道讲解和演示如何开发第一个简单的管道：将数据从本地磁盘采集到HDFS。

5

数据预览讲解和演示如何使用数据预览功能来简化开发过程。

6

配置管道的基础属性讲解和演示如何配置管道的基础属性，部分重点配置涉及管道的错误处理机制和一致性语义等。

7

管道开发要点介绍通用的管道开发流程，以及在开发时需要注意的9项要点。

8

源端——Directory、File Tail、Hadoop讲解和演示3类源端的使用：Directory、File Tail、Hadoop FS。

9

源端——HTTP Server、Rest Service讲解和演示2类源端的使用：HTTP Server、Rest Service。

10

源端——JDBC讲解和演示2类源端的使用：JDBC Query Consumer、JDBC Multitable Consumer。

11

源端——Mysql BinLog、Kafka Consume讲解和演示2类源端的使用：Mysql Binary Log、Kafka (Multitopic) Consumer。

12

目标端——Hadoop FS、Local FS讲解和演示2类目标端的使用：Hadoop FS、Local FS。

13

目标端——Kafka Producer、JDBC Produ讲解和演示2类目标端的使用：Kafka Producer、JDBC Producer。

14

目标端——HBase、Kudu讲解和演示2类目标端的使用：HBase、Kudu。

15

目标端——SDC RPC、Trash讲解和演示2类目标端的使用：SDC RPC、Trash。

16

处理器——Field Remover等讲解和演示3类处理器的使用：Field Remover/Replacer/Splitter。

17

处理器——JDBC Lookup、Static Lookup讲解和演示2类处理器的使用：JDBC Lookup、Static Lookup。

18

处理器——Stream Selector、JSON讲解和演示2类处理器的使用：Stream Selector、JSON Parser。

19

处理器——JavaScript Evaluator讲解和演示1类处理器的使用：JavaScript Evaluator。

20

数据流触发器讲解和演示如何使用数据流触发器在处理完所有数据后停止管道。