Spark技术免费公开课视频课程［张敏老师］

『 时间 』2017年04月06号晚19:30-21:00

★ 19:30-20:30讲述Spark的背景知识，包括：大数据背景、数据仓库、Spark的思想来源（Google的三篇论文及Spark博士论文）

★ 20:30-21:00答疑

『 背景简介 』

大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如Storm、 Spark、Flink等等。那么，大数据是什么、Spark是什么，大数据和Spark有什么关系呢?

本次公开课将详细介绍Spark的背景知识，包括：什么是大数据、什么是数据仓库、Spark的思想来源（Google的三篇论文及博士论文）、以及Spark的学习路线等等。让学员在开始学习之前，对整个Spark的体系结构能有个清楚的认识，有助于更加深入的学习和理解。

• 为什么推荐学习Spark？

•       发展前景非常好

•       公司内部需要

•       相对较低的学习曲线

•       活跃的社区支持

•       技术更新快应用广

•       大数据时代必须学习至少一门大数据处理利器

• 学习Spark需要具备哪些条件？

•       大数据时代必须学习至少一门大数据处理利器

•       有一定的软件编写概念的人

•       想学习大数据的人

•       有Java/Scala基础的人

•       有R语言基础的人

•       有Python语言基础的人

•       从事数据分析/数据挖掘的人

•       符合上面任意条件的人

• Spark能做什么?

•       处理单机无法完成的工作

•       基于SQL的大数据分析

•       数据挖掘

•       流数据处理

•       图计算

•       机器学习

• 学习大数据思想

      1. Google引爆大数据时代的三篇论文

•       GFS：谷歌分布式文件系统，代表性的框架有HDFS分布式文件系统

•       MapReduce：mapreduce计算模型，代表的框架有hadoop，spark等

•       BigTable：NoSql列式存储，代表的开源软件有hbase

   2. Spark博士论文

『 公开课大纲 』

• 什么是大数据？

• 大数据生态圈的发展史

• Spark发展现状

• Spark生态圈现状

• Spark能做哪些事儿

• Spark技术框架的演进

• 常用的Spark组件