02.spark常见变换和动作

本课程授课老师

徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师，主持开发了大产权交易系统，异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统，对java技术、大数据（hadoop、storm、spark）、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是使用 Scala 实现的基于内存计算的大数据开源集群计算环境.提供了Java、Scala、Python、R 等语言的调用接口。

通过10天的学习，你可以学习Spark的环境搭建、工作原理、Spark Job、Spark Shuffle、Spark SQL、Spark Streaming、机器学习等，满足企业开发需求。

通过10天的学习学习大数据技术的综合应用，学习推荐系统原理，学习企业级大数据项目的开发流程和实操。