【徐葳】流式数据湖新秀-Apache Paimon

为什么要学习这门课程？

·新一代流式数据湖技术组件深入讲解，帮助你快速构造数据湖知识体系。

·为构建湖仓一体架构提供底层技术支撑。

本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解，原理+实战，帮助你快速上手使用数据湖技术。

讲师介绍

华为HCIP认证大数据高级工程师

北京猎豹移动大数据技术专家

中科院大数据研究院大数据技术专家

51CTO企业IT学院优秀讲师

电子工业出版社2022年度优秀作者

出版书籍：《Flink入门与实战》、《大数据技术及架构图解实战派》。

本课程提供配套课件、软件、试题、以及源码。

课程内容介绍：

1、什么是Apache Paimon

2、Paimon的整体架构

3、Paimon的核心特点

4、Paimon支持的生态

5、基于Flink SQL操作Paimon

6、基于Flink DataStream API 操作Paimon

7、Paimon中的内部表和外部表

8、Paimon中的分区表和临时表

9、Paimon中的Primary Key表(主键表)

10、Paimon中的Append Only表(仅追加表)

11、Changelog Producers原理及案例实战

12、Merge Engines原理及案例实战

13、Paimon中的Catalog详解

14、Paimon中的Table详解

15、Paimon之Hive Catalog的使用

16、动态修改Paimon表属性

17、查询Paimon系统表

18、批量读取Paimon表

19、流式读取Paimon表

20、流式读取高级特性Consumer ID

21、Paimon CDC数据摄取功能

22、CDC之MySQL数据同步到Paimon

23、CDC之Kafka数据同步到Paimon

24、CDC高级特性之Schema模式演变

25、CDC高级特性之计算列

26、CDC高级特性之特殊的数据类型映射

27、CDC高级特性之中文乱码

28、Hive引擎集成Paimon

29、在Hive中配置Paimon依赖

30、在Hive中读写Paimon表

31、在Hive中创建Paimon表

32、Hive和Paimon数据类型映射关系

33、Paimon底层文件基本概念

34、Paimon底层文件布局

35、Paimon底层文件操作详解

36、Flink流式写入Paimon表过程分析

37、读写性能优化详细分析

38、Paimon中快照、分区、小文件的管理

39、管理标签(自动管理+手工管理)

40、管理Bucket(创建+删除+回滚)