数据重新分区概述

5974 未经授权，禁止转载了解课程

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

有 Scala 语言以及 Hadoop 基础的同学

你将会学到

学习分布式内存计算引擎 Spark

课程简介

Spark 是现在非常流行、使用范围最广泛的大数据分布式计算技术，是做大数据开发必备的一项技能。

本课程主要是由浅入深的讲解 Spark 核心知识点，内容如下：

一、Spark 集群和开发环境的搭建

二、站在 high level 上理解 Spark

三、讲解 Spark RDD 的分布式计算原理和特点，以及常用的 API

四、项目实战：会话切割

五、阶段实战：TopN、数据倾斜等问题的解决

六、正确提交 Spark 应用，重点讲解 Spark On Yarn

七、Spark 中的应用、任务的调度机制(面试必问)

展开更多

发布

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记

讨论图

{{ item.create_time }}{{ Number(item.like_count) || '' }}回复

删除
是否确认删除?
确认
取消
{{ item.is_top == 1 ? '取消置顶' : '置顶'}}
已有置顶的讨论，是否替换已有的置顶？
确认
取消

{{ tag.text}}

{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}

{{ subitem.create_time }}{{ Number(subitem.like_count) || '' }}回复

删除

点击查看更多收起

发布

{{pageType === 'video' ? '讨论区抢占沙发，可获得双倍学分' :'讨论区空空如也，你来讲两句~'}}

发布

{{tips.text}}

{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}

{{ hasMyNote ? '我的笔记' : '记笔记' }}

{{ item.username }}

优质笔记

更新于：{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}

{{ detail.username }}

公开笔记对他人可见，有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记

保存

提问

讲师收到你的提问会尽快为你解答。若选择公开提问，可以获得更多学员的帮助。

记录时间点

记录提问时视频播放的时间点，便于后续查看

公开提问

提交

讲师头像

51CTO微职位大数据教学总监；多年大数据技术架构师，10年软件技术设计开发经验，在爱奇艺、北京国双科技(大数据上市公司)、快钱支付、华为等大型企业设计和开发大数据相关项目，大型的项目包含爱奇艺直播业务大数据中心的建设、2016奥运会CNTV网站流量分析、金融支付反欺诈项目以及电信计费数据清洗分析等数十个大数据相关项目。服务的行业有视频、电子营销、金融、电信等行业。国内首批Spark实践者之一，也是国内早期推出按照”软件即现实世界” 的原则来讲解Spark等大数据技术，丰富的大型企业内部培训大数据技术的经验。

课程大纲

自动连播

[老汤]公开课-怎样学习大数据技术

[老汤]公开课-怎样学习大数据技术

[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api

[老汤]Spark 2.x 实战应用三系列之Spark-core RDD Api

[老汤]Spark 2.x实战应用系列一之怎样学习Spark

[老汤]Spark 2.x实战应用系列一之怎样学习Spark

[老汤]Spark 2.x实战应用系列之Spark开发环境搭建(windows)

[老汤]Spark 2.x实战应用系列之Spark开发环境搭建(windows)

[老汤]Spark 2.x实战应用系列之Spark相关集群环境搭建

[老汤]Spark 2.x实战应用系列之Spark相关集群环境搭建

大数据高级工程师：Spark 2.x 实战应用系列之正确理解Spark

大数据高级工程师：Spark 2.x 实战应用系列之正确理解Spark

[老汤]Spark 2.x之Scala内功修炼视频课程三-十二步体验Scala

[老汤]Spark 2.x之Scala内功修炼视频课程三-十二步体验Scala

[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&java)

[老汤]Spark 2.x实战应用系列七之Spark SQL(scala&java)