sequenceFile序列文件的保存和读取
{{ interaction.likeNum == 0 ? (pageType === 'video' ? '抢首赞' : '点赞') : formatNumber(interaction.likeNum) }}
{{ interaction.collectionNum == 0 ? '收藏' : formatNumber(interaction.collectionNum) }}
{{ interaction.discussNum == 0 ? (pageType === 'video' ? '抢沙发' : '讨论') : formatNumber(interaction.discussNum) }}
分享
适合人群
Python开发者 大数据从业者 Spark爱好者 数据挖掘
你将会学到
Python版本的pyspark是学习Python的人的福音,为广大的Python开发人员提供了一个使用Python调用Spark接口处理大数据的有力工具。本课程提供细致详尽的Spark API的讲解,以实战的方式帮助广大Python开发人员,使用Spark这一强有力的工具进行数据分析。
课程简介
【注意:本课程只包含pyspark系列课程的基础入门部分】
Python版本的pyspark是学习Python的人的福音,为广大的Python开发人员提供了一个使用Python调用Spark接口处理大数据的有力工具。本课程提供细致详尽的Spark API的讲解,以实战的方式帮助广大Python开发人员,使用Spark这一强有力的工具进行数据分析。
本课程会提供基于Docker的Hadoop及Spark的环境搭建,使用Docker制作Hadoop,Spark镜像一键启动Spark集群。镜像制作简单,并且一次制作,随时随地都能使用镜像一键启动集群。
通过本课程的学习,能够对Spark的部署及运行原理有非常深刻的了解,并且学习Docker中基本的命令及使用技巧。这门课程是pyspark大数据系列课程中的基础课程,SparkSQL,SparkStreaming,Spark机器学习的内容在单独课程中发布,后续会陆续的发布新的课程。由浅到深的带大家深入学习大数据领域火的项目Spark。帮助大家进入大数据领域,抓住大数据浪潮的尾巴。
学以致用,一键起飞!
展开更多
{{tips.text}}
{{ noteHeaderTitle }}
笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
公开笔记
保存提问
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交课程大纲
自动连播
- 第一章 Docker搭建Spark集群,最后一章附Docker基础课
- 1-1试看 Spark课程前言16:56
- 1-2Spark基础概念18:59
- 1-3镜像制作方案和集群网络规划及子网配置和SSH无密钥登录规则配17:04
- 1-4Hadoop、HDFS、Yarn配置文件详解18:04
- 1-5Spark及Hive配置文件详解13:11
- 1-6Dockerfile制作Hadoop、Spark、Hive、26:51
- 1-7试看 启动5个容器并开启Hadoop、Spark、Hive、Mys38:11
- 1-8pyspark模块介绍14:12
- 1-9SparkContext编程入口及Accumulator累加17:45
- 1-10addFile方法和SparkFiles的get方法加载和获22:24
![Spark大数据处理及机器学习【基于Python的Spark 2.3**版】](https://s2.51cto.com/images/202101/25/23624972951c2d5c598bfc635d47a0d4.jpg?x-oss-process=image)
Spark大数据处理及机器学习【基于Python的Spark 2.3**版】
72860人学习
张敏
5.0
¥399.00
![【大数据 Hadoop生态 Spark 2.x 多案例】Spark 2.x基础与提升](https://s2.51cto.com/images/202101/28/2787286af1fa64b69b672a5ca8d002d7.jpg?x-oss-process=image)
【大数据 Hadoop生态 Spark 2.x 多案例】Spark 2.x基础与提升
8187人学习
张敏
4.5
¥99.00
![【大数据 Spark 2.x 流数据 多案例】Spark Streaming流数据处理基础与提升](https://s2.51cto.com/images/201801/11/7f1236c10dc8a7df7590f39cd2e4fd24.jpg?x-oss-process=image)
【大数据 Spark 2.x 流数据 多案例】Spark Streaming流数据处理基础与提升
7152人学习
张敏
5.0
¥99.00
![Spark技术免费公开课视频课程[张敏老师]](https://s2.51cto.com/images/201704/b8cca7b14ee21ba601a961729eef8dbf984177.png?x-oss-process=image)
Spark技术免费公开课视频课程[张敏老师]
5496人学习
张敏
5.0
免费
![【Python版pyspark】Spark大数据基础入门视频课程](https://s2.51cto.com/images/202101/25/1719a30d8680c2b28a527498cfdfa9c6.jpg?x-oss-process=image)
【Python版pyspark】Spark大数据基础入门视频课程
3626人学习
张敏
1.0
¥199.00
![Spark的技术应用分享【企业内部分享】](https://s2.51cto.com/images/201805/17/216c1e1caac30a89dff54ebf032136e8.jpg?x-oss-process=image)
Spark的技术应用分享【企业内部分享】
2815人学习
张敏
5.0
免费
![【大数据 Hadoop生态 Spark 2.x 多案例】Spark SQL基础与提升](https://s2.51cto.com/images/202101/28/1bea2e6cb1a4031c22df26f694deddc1.jpg?x-oss-process=image)
【大数据 Hadoop生态 Spark 2.x 多案例】Spark SQL基础与提升
2573人学习
张敏
4.5
¥99.00
![【大数据 hadoop生态 Spark2.x】深入Spark2.x内核大数据](https://s2.51cto.com/images/201703/b55f6f1483e16870f1e267dbbe2d11585adac9.jpg?x-oss-process=image)
【大数据 hadoop生态 Spark2.x】深入Spark2.x内核大数据
1971人学习
张敏
4.3
¥49.00