Scala-day01-07.数组-变长数组-转换

本课程授课老师

徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师，主持开发了大产权交易系统，异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统，对java技术、大数据（hadoop、storm、spark）、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。

开发环境

IDEA

Scala

Python

spark-2.1.0-bin-hadoop2.7

Scala是一门多范式的编程语言，一种类似java的编程语言  ，设计初衷是实现可伸缩的语言  、并集成面向对象编程和函数式编程的各种特性。

在此部分内，将更注重scala的各种语言规则与简单直接的应用，而不在于其是如何具体实现，通过学习本课程能具备初步的Scala语言实际编程能力。本部分课程也可以视为大家下面学习Spark课程的铺垫，供大家扫盲熟悉Scala，提前进行热身运动。

Python语言的部分大家在学习后可以完全学习Python的精髓，并通过这部分的学习给大家打好一个基础，在其他计算框架中多语言的使用上都会涉及到Python这门流行的语言。同时课程里会通过机器学习的案例让大家学习Python的同时去更好的理解机器学习。

Spark 是专为大规模数据处理而设计的快速通用的计算引擎,拥有Hadoop MapReduce所具有的优点；

但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

本部分内容多面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，Spark on Yarn,Spark Streaming流式计算原理与实践，Spark SQL,Spark的多语言编程以及SparkR的原理和运行。不仅面向项目开发人员，甚至对于研究Spark的学员，此部分都是非常有学习指引意义的课程。