【案例】电影数据分析——电影分析
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。现在Spark的应用越来越广泛,市场上对Spark工程师的需求量也越来越大。
目前市面上的Spark课程基本上都是使用scala语言。但是随着Python在数据分析、大数据和人工智能的广泛使用,越来越多的企业选择使用Python来编写Spark代码。为适应更多企业的实际需求,特此推出Python大数据之Spark编程基础与提升系列课程。
本课程由清华学神51CTO高级讲师刘声老师亲自零基础授课,内容详实,深入浅出。学员可在两周内学习大数据Spark开发的Python编程技术。
此外,学员还可以学习刘声老师的另一个大数据课程《Python大数据之Hadoop编程基础与提升》https://edu.51cto.com/course/12650.html
课程目录
一、Spark入门
Spark简介和启动方法
【案例】使用Spark分析商品数据
【案例】使用Spark交互式分析商品数据
二、Spark数据预处理与分析
【案例】电影数据分析——用户分析
【案例】电影数据分析——电影分析
【案例】电影数据分析——评分分析
三、Spark机器学习之特征提取
one-hot向量的原理与实战
Spark提取特征1
Spark提取特征2
四、Spark机器学习之核心应用
Spark SQL库介绍
Spark机器学习库ml介绍
Spark机器学习实战
五、企业项目实战:使用Spark机器学习库构建电影推荐引擎
spark机器学习之推荐引擎1
spark机器学习之推荐引擎2
六、附:使用Spark完成Hadoop作业
【作业解答】商品数据分析
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 Spark入门
- 1-1试看 Spark简介和启动方法09:29
- 1-2【案例】使用Spark分析商品数据36:40
- 1-3【案例】使用Spark交互式分析商品数据17:40
- 第二章 Spark数据预处理与分析
- 2-1【案例】电影数据分析——用户分析45:22
- 2-2【案例】电影数据分析——电影分析21:29
- 2-3【案例】电影数据分析——评分分析39:30
- 第三章 Spark机器学习之特征提取
- 3-1one-hot向量的原理与实战25:54
- 3-2Spark提取特征132:19
- 3-3Spark提取特征209:40
- 第四章 Spark机器学习之核心应用
- 4-1Spark SQL库介绍22:24