Paimon最新进展分享-51CTO学堂

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

技术团队负责人、架构师、总监、开发人员，以及对技术感兴趣的企业家、创业者和相关人士。

你将会学到

了解湖存储相关技术，了解实时计算最新进展，了解流式数据湖的应用场景 Web 平台的场景

课程简介

目前业界主流数据湖存储格式项目都是面向 Batch 场景设计的，在数据更新处理时效性上无法满足 Streaming Lakehouse 的需求，因此 Flink 社区在一年多前内部孵化了 Flink Table Store 子项目——一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日，Flink Table Store 项目顺利通过投票，正式进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。

Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。

演讲大纲：
1. 湖存储技术的场景与特质
2. Paimon 的架构与核心优势
3. Paimon 的应用场景
4. Paimon 的后续探索
5. 总结和展望

听众收益：
1. 了解湖存储相关技术
2. 了解实时计算最新进展
3. 了解流式数据湖的应用场景
Web 平台的新功能

演讲人介绍：
阿里云开源大数据表存储团队负责人，负责 Apache Paimon 的研发和产品，Founder of Apache Paimon，PMC member of Apache Flink，Committer of Apache Iceberg&Beam。先后从事分布式流计算、分布式批计算、湖存储，目前专注于流式湖仓一体的技术。