大数据热门技术Spark+机器学习+贝叶斯算法第1季

本课程授课老师

徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师，主持开发了大产权交易系统，异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统，对java技术、大数据（hadoop、storm、spark）、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。 

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程，历经5年沉淀，调研企业上百家，通过上万学员汇总，保留较为完整的知识体系的同时，让每个模块看起来小而精，碎而不散。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。

通过理论和实际的紧密结合，可以使学员对大数据Spark技术栈有充分的认识和理解，在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识；并且通过对流处理原理的学习和与批处理架构的对比，可以对大数据处理架构有更多面的了解，为日后成长为架构师打下基础。

Spark应用场景

Yahoo将Spark用在Audience Expansion中的应用，进行点击预测和即席查询等。

淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。

腾讯大数据精准推荐借助Spark快速迭代的优势，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法，最终成功应用于广点通pCTR投放系统上。

优酷土豆将Spark应用于视频推荐(图计算)、广告业务，主要实现机器学习、图计算等迭代计算。

本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季，本套为第1季。

001.大数据回顾
002.spark介绍-快速-通用-简单-场景多样
003.spark安装与验证
004.spark-shell下实现worcount-链式编程
005.idea下使用spark.2.4.0实现wordcount统计scala实现
006.idea下使用spark.2.4.0实现wordcount统计显式声明变量类型
007.idea实现wordcount java API.avi
008.idea实现历年zui高气温统计scala实现
009.idea实现历年zui高气温统计-升降序排列-java实现
010.scala的SeqWrapper类排序不支持原因考察
011.scala的气温数据的多指标聚合
012.spark集群模式介绍-local-standalone-yarn
013.spark 独立集群部署
014.spark-shell在集群模式运行-使用静态数据-观察DAG
015.spark集群和hdfs集成
016.部署程序到spark集群上执行

课程亮点

1.代码和原理驱动讲解Spark2.4的个技术点（全部手敲代码），图文解读

2.能够对常见的Spark2.4性能问题，使用技术进行性能调优

3.学习Spark2.4体系的知识和操作

4.理解Spark2.4新特性和原理，对Spark企业级案例，进行调优和故障排查

5.学习Spark机器学习和推荐系统

6.学习朴素贝叶斯算法