Hadoop第12天-001.RM与Async代码分析

202 未经授权，禁止转载了解课程

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

具有一定hadoop经验的开发工程师。

你将会学到

了解YARN时间二次分发机制以及DBInputFormat操纵MySQL数据库。

课程简介

Hadoop（终结课）RPC过程二次分发机制

远程调试分析YARN时间二次分发机制
远程调试分析-job在提交到集群上后基于事件的变换过程
RM节点管理器中事件的创建过程
使用Google的protobuf实现串行化并进行性能对比
通过代码考查RPC过程
源代码分析RPC类调用构成
顺序文件读写
顺序文件的mrjob-压缩
自定义输入格式-wholefile作为一次输入
输入格式-reader-output-writer分析
DBInputFormat操纵MySQL数据库
Inputformat内部代码分析-DBInputFormat
.DBOutputFormat-数据库记录写入-WritableComparableBug问题解决

展开更多

发布

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记

讨论图

{{ item.create_time }}{{ Number(item.like_count) || '' }}回复

删除
是否确认删除?
确认
取消
{{ item.is_top == 1 ? '取消置顶' : '置顶'}}
已有置顶的讨论，是否替换已有的置顶？
确认
取消

{{ tag.text}}

{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}

{{ subitem.create_time }}{{ Number(subitem.like_count) || '' }}回复

删除

点击查看更多收起

发布

{{pageType === 'video' ? '讨论区抢占沙发，可获得双倍学分' :'讨论区空空如也，你来讲两句~'}}

发布

{{tips.text}}

{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}

{{ hasMyNote ? '我的笔记' : '记笔记' }}

{{ item.username }}

优质笔记

更新于：{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}

{{ detail.username }}

公开笔记对他人可见，有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记

保存

提问

讲师收到你的提问会尽快为你解答。若选择公开提问，可以获得更多学员的帮助。

记录时间点

记录提问时视频播放的时间点，便于后续查看

公开提问

提交

讲师头像

10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK类似框架。

课程大纲

自动连播

大数据分析电视收视率项目实战教程（Hadoop、Hive升级Spark技术）

大数据分析电视收视率项目实战教程（Hadoop、Hive升级Spark技术）

Spark实战视频课程（Spark基础知识+企业案例）

Spark实战视频课程（Spark基础知识+企业案例）

Hadoop（一）入门与环境配置视频课程

Hadoop（一）入门与环境配置视频课程

6期大数据之日志系统Flume技术教程（讲理论还讲实操）

6期大数据之日志系统Flume技术教程（讲理论还讲实操）

Spark基础与提升第一季-核心编程视频课程

Spark基础与提升第一季-核心编程视频课程

Hadoop安装与搭建

Hadoop安装与搭建

爱奇艺实时流处理项目实战（Spark Streaming）

爱奇艺实时流处理项目实战（Spark Streaming）

Spark企业案例运用日志分析通过H5跨平台展示【综合业务】

Spark企业案例运用日志分析通过H5跨平台展示【综合业务】