Spark提取特征1

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。现在Spark的应用越来越广泛，市场上对Spark工程师的需求量也越来越大。

目前市面上的Spark课程基本上都是使用scala语言。但是随着Python在数据分析、大数据和人工智能的广泛使用，越来越多的企业选择使用Python来编写Spark代码。为适应更多企业的实际需求，特此推出Python大数据之Spark编程基础与提升系列课程。

本课程由清华学神51CTO高级讲师刘声老师亲自零基础授课，内容详实，深入浅出。学员可在两周内学习大数据Spark开发的Python编程技术。

此外，学员还可以学习刘声老师的另一个大数据课程《Python大数据之Hadoop编程基础与提升》https://edu.51cto.com/course/12650.html

课程目录

一、Spark入门

Spark简介和启动方法

【案例】使用Spark分析商品数据

【案例】使用Spark交互式分析商品数据

二、Spark数据预处理与分析

【案例】电影数据分析——用户分析

【案例】电影数据分析——电影分析

【案例】电影数据分析——评分分析

三、Spark机器学习之特征提取

one-hot向量的原理与实战

Spark提取特征1

Spark提取特征2

四、Spark机器学习之核心应用

Spark SQL库介绍

Spark机器学习库ml介绍

Spark机器学习实战

五、企业项目实战：使用Spark机器学习库构建电影推荐引擎

spark机器学习之推荐引擎1

spark机器学习之推荐引擎2

六、附：使用Spark完成Hadoop作业

【作业解答】商品数据分析