Spark本地、客户端、集群模式运行分析-51CTO学堂

{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }} {{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }} {{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}

提问 {{ interaction.noteNum > 0 ? interaction.noteNum + '篇笔记' : '记笔记' }} 离线观看

下载学堂APP

缓存视频离线看

报告问题离线观看

下载学堂APP

缓存视频离线看

课程介绍

讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}

适合人群

具备Linux基础，要熟悉Linux常用命令的使用。本课程适合大数据运维工程师、大数据分析同学进行参考和学习。

你将会学到

通过本课程的学习，可以使学员系统、多面、快速的学习spark运维技能。达到即学即用的效果。

快速掌握spark独立模式的使用
快速掌握spark on yarn模式的使用

课程简介

本课程以spark-3.0.0版本为准，主要介绍spark独立模式、spark on yarn模式的构建和基础运维，课程大纲如下：

1、spark的整体架构以及Cluster Manager、Worker、Executor、Driver功能介绍

2、独立模式下spark集群的部署

3、SparkSQL与Hive整合

4、2、spark-shell的使用

5、Spark-Submit的使用

6、Spark本地或者单机运行模式分析

7、Spark客户端集群模式分析

8、Spark完全集群模式运行分析

9、在yarn中配置spark步骤

10、开启spark日志记录功能

11、yarn client模式提交到集群实现流程

12、yarn cluster模式提交到集群实现流程

图片111.png

图片122.png

展开更多

发布

置顶笔记

{{ item.create_time }}{{ Number(item.like_count) || '' }}回复

删除
是否确认删除?
确认
取消
{{ item.is_top == 1 ? '取消置顶' : '置顶'}}
已有置顶的讨论，是否替换已有的置顶？
确认
取消

{{ subitem.create_time }}{{ Number(subitem.like_count) || '' }}回复

删除

点击查看更多收起

发布

{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}

优质笔记

更新于：{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}

公开笔记对他人可见，有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记

保存

提问

讲师收到你的提问会尽快为你解答。若选择公开提问，可以获得更多学员的帮助。

记录时间点

记录提问时视频播放的时间点，便于后续查看

公开提问

提交