02.spark job并发度-并发能力-并发线程

7 未经授权，禁止转载了解课程

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

对大数据有所了解，有一定编程基础

你将会学到

图文解析，原理剖析，逐步深入的方式对Spark进行讲授，让学员知其然知其所以然。

课程简介

课程简介
版本：Spark2.1.0
集成开发工具：IDEA

课程内容:
01.spark job提交流程回顾
02.spark job并发度-并发能力-并发线程
03.spark job 变换-分区指定-mapPartition
04.spark job distinct-union-intersect-aggregate
05.agg实现groupby分组-join实现查询
06.cogroup-repartition-coalesce-迪尔卡等

课程特色：
1.通俗易懂，接地气的讲解将复杂的问题简单化
2.全程手敲代码

展开更多

发布

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记

讨论图

{{ item.create_time }}{{ Number(item.like_count) || '' }}回复

删除
是否确认删除?
确认
取消
{{ item.is_top == 1 ? '取消置顶' : '置顶'}}
已有置顶的讨论，是否替换已有的置顶？
确认
取消

{{ tag.text}}

{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}

{{ subitem.create_time }}{{ Number(subitem.like_count) || '' }}回复

删除

点击查看更多收起

发布

{{pageType === 'video' ? '讨论区抢占沙发，可获得双倍学分' :'讨论区空空如也，你来讲两句~'}}

发布

{{tips.text}}

{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}

{{ hasMyNote ? '我的笔记' : '记笔记' }}

{{ item.username }}

优质笔记

更新于：{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}

{{ detail.username }}

公开笔记对他人可见，有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记

保存

提问

讲师收到你的提问会尽快为你解答。若选择公开提问，可以获得更多学员的帮助。

记录时间点

记录提问时视频播放的时间点，便于后续查看

公开提问

提交

讲师头像

10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK类似框架。

课程大纲

自动连播

大数据分析电视收视率项目实战教程（Hadoop、Hive升级Spark技术）

大数据分析电视收视率项目实战教程（Hadoop、Hive升级Spark技术）

Spark实战视频课程（Spark基础知识+企业案例）

Spark实战视频课程（Spark基础知识+企业案例）

Hadoop（一）入门与环境配置视频课程

Hadoop（一）入门与环境配置视频课程

6期大数据之日志系统Flume技术教程（讲理论还讲实操）

6期大数据之日志系统Flume技术教程（讲理论还讲实操）

Spark基础与提升第一季-核心编程视频课程

Spark基础与提升第一季-核心编程视频课程

Hadoop安装与搭建

Hadoop安装与搭建

爱奇艺实时流处理项目实战（Spark Streaming）

爱奇艺实时流处理项目实战（Spark Streaming）

Spark企业案例运用日志分析通过H5跨平台展示【综合业务】

Spark企业案例运用日志分析通过H5跨平台展示【综合业务】