命令行远程提交Spark程序到Spark集群运行
适合人群
有志从事大数据相关开发的人员
你将会学到
掌握IDEA开发Hadoop(MapReduce)+Spark程序的开发技术
课程简介
本课程是“一键部署:基于Docker的Hadoop+Spark集群”的进阶课程
本课程将Hadoop(MapReduce)程序和Spark程序的开发,集成统一到了一个开发工具IDEA中。对于大数据开发者来说,可以在IDEA中完成MapReduce程序和Spark程序的编辑、编译、打包、远程提交、运行和调试,既提高了效率,又可以直接和生产环境对接。
本课程的关键内容包括:
IDEA在Linux下的安装
使用IDEA编辑、编译、打包 Hadoop的MapReduce程序
使用IDEA远程提交Hadoop的MapReduce程序到真正分布式的YARN集群上运行
使用IDEA编辑、编译、打包 Spark程序
使用IDEA远程提交Spark程序到真正分布式的Spark Standalone集群上运行
使用IDEA远程提交Spark程序到真正分布式的YARN集群上运行
本课程不提供下载资料
展开更多
{{tips.text}}
{{ noteHeaderTitle }}
笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
公开笔记
保存提问
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交课程大纲
自动连播
- 第一章 课程简介
- 1-1试看 课程简介05:34
- 第二章 系统部署说明
- 2-1系统部署说明20:55
- 第三章 安装IDEA
- 3-1安装轻量级桌面Xfce08:39
- 3-2安装IDEA11:16
- 第四章 使用IDEA开发Hadoop(MapReduce)程序
- 4-1验证Hadoop开发环境15:26
- 4-2IDEA编写MapReduce程序代码09:09
- 4-3IDEA编译、打包MapReduce程序05:34
- 4-4IDEA远程提交MapReduce程序到分布式YARN集群14:36
- 第五章 使用IDEA开发Spark程序
- 5-1安装Scala编译环境06:35
- 5-2IDEA编辑Spark程序代码10:34

艾叔:迈向Spark编程高手之路
1204人学习
艾叔
5.0
¥10.80

【企业级】一键部署基于Docker的Hadoop+Spark集群
1098人学习
艾叔
5.0
¥168.00
![[企业级]零基础IDEA入门Spark大数据开发](https://s2.51cto.com/images/202101/21/df567e42604322ecf9b23d7f1ec65650.jpg?x-oss-process=image)
[企业级]零基础IDEA入门Spark大数据开发
816人学习
艾叔
5.0
¥198.00

IDEA 统一开发Hadoop(MapReduce)+Spark程序
392人学习
艾叔
5.0
¥29.90

Linux小白如何学Hadoop大数据系统运维
196人学习
艾叔
5.0
会员免费

Spark大数据编程教学要点解析---面向应用型本科院校
78人学习
艾叔
5.0
¥29.90

大数据入门与核心技术项目实战视频课程(0基础学习)
216456人学习
柠檬
4.7
免费

Hadoop大数据基础与提升
178376人学习
任亮
4.9
¥599.00