提交流程-集群启动-向ResourceManager注册sl

1342 未经授权,禁止转载了解课程
课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
深入掌握Flink高阶实战应用
你将会学到
深入掌握Flink高阶实战应用
课程简介

【注:本课程不提供答疑服务】

Flink在大数据实时计算领域炙手可热,尚硅谷发布过Scala和Java两版Flink视频教程,深入讲解了Flink流计算思想和各种高阶实战应用。本套教程另辟蹊径,针对Flink 1.12.0版本的核心模块进行源码级讲解,从任务提交流程、通讯过程、Task调度、内存模型四大方面入手,庖丁解牛逐行分析源码,手术刀级别剖析Flink内核架构!


一、任务提交流程模块

从任务提交脚本入手,探本溯源,找到程序执行入口,继而解析输入参数、选择创建客户端类型、获取有效配置、调用用户代码的main方法、调用执行环境的excute方法,直至最后进入任务提交流程,详细分析了Flink各组件启动顺序、资源申请流程、资源注册以及分配流程。分析上千行源码,层层追踪,并给出源码关键注释。


二、通讯过程模块

从Akka与Actor模型入手,以点带面,一步步引出Flink的整体组件通信全景。对Flink中RPC框架涉及的主要类RpcGateway、RpcEndpoint、RpcService、RpcServer、AkkaRpcActor进行仔细拆解,之后通过代码的跳转详细分析了RPC的交互过程。


三、Task调度模块

详细讲解Flink四层执行图StreamGraph、JobGraph、ExecutionGraph、物理执行图,分别如何生成转换,均配详尽源码讲解,并深入讲解了Flink的Task调度,分别从源码层面讲解了几个调度的重要组件,调度器、调度策略和调度模式。


四、内存模型模块

详细讲解Flink自主的内存管理模型,如何有效避免了JVM内存管理的不足之处,分别讲解了JobManager内存模型、TaskManager内存模型、源码分析内存分配过程。并讲解了内存数据结构、内存管理器和网络传输中的内存管理等内容。


尚硅谷Flink内核源码解析的视频教程,完全基于Flink源码进行讲解,分析了数千行代码,通过层层源码调用带领你深入Flink核心部分,不再浮于表面,拒绝浅尝辄止,鞭辟入里,入木三分。让你对Flink的认识,不再是“只在此山中,云深不知处”,帮你梳理源码阅读技巧,打通掌握Flink的任督二脉!


展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
讨论区空空如也,你来讲两句~
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交