ETL数据集成之Kettle5项目实践视频课程

1

前言对课程的简介、学习方法的介绍

2

Kettle基本介绍kettle简介、工具下载地址、kettle运行环境搭建、一个简单案例。

「仅限付费用户」点击下载“1_Kettle基本介绍.zip”

3

Kettle UI介绍kettle图形设计界面的介绍，包括菜单栏、图表、选项卡以及执行结果面板的作用。

「仅限付费用户」点击下载“2_Kettle UI介绍.zip”

4

参数与配置文件参数与变量（位置参数、命令参数、变量）的使用以及通过脚本使用变量，控制kettle的流转。

「仅限付费用户」点击下载“3参数与配置文件.zip”

5

复杂表头的Excel数据源处理通过对Excel输入的配置处理带有复杂表头的Excel数据源的数据。

「仅限付费用户」点击下载“4_复杂表头的Excel数据源.zip”

6

JS时间格式处理在实际工作中经常会遇到输入的时间格式不同的问题，通过JS处理成为同一格式类型的时间。

「仅限付费用户」点击下载“5_JS时间格式处理.zip”

7

查找表映射多表关联，事实表和维表的关联形成宽表。

「仅限付费用户」点击下载“6_查找表映射.zip”

8

大量数据导入(批量加载)当导入的数据量过大时，我们将大批量数通过Bulk的方式快速导入到数据库中的方法。

「仅限付费用户」点击下载“7_大量数据导入(批量加载).zip”

9

合并多个Excel文件当数据源结构相同时，通过简单的配置Excel的input组件将数据进行合并。

「仅限付费用户」点击下载“8_合并多个Excel文件.zip”

10

字段的拆分、合并、转码（值映射）字段的拆分、合并（JavaScript）以及值映射几个组件的基本使用方法。

「仅限付费用户」点击下载“9_字段的拆分、合并、转码（值映射）.zip”

11

字符串操作（去空，值替换，补位）通过过滤记录、字符串替换、字符串操作组件处理字符串去空、值替换以及补位的问题。

「仅限付费用户」点击下载“10_字符串操作（去空，值替换，补位）.zip”

12

去除重复数据通过排序、哈希值去重以及JavaScript脚本三种方式对数据去重。

「仅限付费用户」点击下载“11_去除重复数据.zip”

13

异常数据分流通过异常连接的方式将异常数据进行分流。

「仅限付费用户」点击下载“12_异常数据分流.zip”

14

用kettle生成测试数据使用kettle生成测试数据，并对测试数据类型进行转换（如数字转日期）。

「仅限付费用户」点击下载“13_用kettle生成测试数据.zip”

15

数据质量统计根据统计组件包中的分组组件对数据质量问题进行统计。

「仅限付费用户」点击下载“14_数据质量统计.zip”

16

多数据源合并通过追加流的方式将不同结构的数据合并到一起，形成一张大表。

「仅限付费用户」点击下载“15_多数据源合并.zip”

17

没有数据流入时停止操作阻塞数据、监测空流、流程中止三个流程控制组件的使用。

「仅限付费用户」点击下载“16_没有数据流入时停止操作.zip”

18

发送邮件使用kettle自动发送邮件，实现报告的自动发送功能。

「仅限付费用户」点击下载“17_发送邮件.zip”

19

数据的分流对数据按不同的条件分流到不同的表中，控制数据的流向。

「仅限付费用户」点击下载“18_数据的分流.zip”

20

流程的复用通过映射制作可复用的流程片段，实现转换中部分流程的复用。

「仅限付费用户」点击下载“19_流程的复用.zip”