高性能实时入湖在字节跳动的实践
{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }}
{{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }}
{{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}
分享
适合人群
技术团队负责人、架构师、总监、开发人员,以及对技术感兴趣的企业家、创业者和相关人士。
你将会学到
本次分享将重点介绍在字节跳动内部庞大的数据体量下,如何能够支持高性能的实时入湖
课程简介
演讲简介:
本次分享将重点介绍在字节跳动内部庞大的数据体量下,如何能够支持高性能的实时入湖,通过业务场景来阐述现有数据入湖方式存在的痛点,介绍目前字节跳动内部的对于实时入湖的优化,并说明如何使用这些优化来解决入湖时效性的问题。最后还将介绍未来整体规划以及希望达成的预期。
大纲:
1. LAS 介绍;
2. 实时数仓场景;
3. 生产落地与优化;
4. 未来规划
演讲人介绍:
字节跳动数据湖团队负责数据湖引擎开发,同时活跃于 Hudi 社区,是Apache Hudi committer。
展开更多
{{tips.text}}
{{ noteHeaderTitle }}
笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
{{ detail.username }}
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
公开笔记
保存提问
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交课程大纲
自动连播
28课时
WOT大数据全球技术峰会现场实录视频
31457人学习
WOT全球技术大会
5.0
会员免费
6课时
WOT2016大数据技术峰会-数据安全&物联网专场
4285人学习
WOT全球技术大会
5.0
会员免费
4课时
WOT2016大数据技术峰会-机器学习专场
2699人学习
WOT全球技术大会
5.0
会员免费
4课时
WOT2016大数据技术峰会-系统架构专场
2318人学习
WOT全球技术大会
5.0
会员免费
8课时
WOT2015移动互联网研发者大会:算法分析专场
1783人学习
WOT全球技术大会
5.0
会员免费
5课时
WOT2016移动互联网技术峰会——数据分析专场
1051人学习
WOT全球技术大会
5.0
会员免费
5课时
WOT2016大数据技术峰会-主会场&算法与模型专场
748人学习
WOT全球技术大会
5.0
会员免费
4课时
WOT2016大数据技术峰会-实时计算专场
650人学习
WOT全球技术大会
5.0
会员免费