大数据热门技术Spark+机器学习+贝叶斯算法第5季

本课程授课老师

徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师，主持开发了大产权交易系统，异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统，对java技术、大数据（hadoop、storm、spark）、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。 

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程，历经5年沉淀，调研企业上百家，通过上万学员汇总，保留较为完整的知识体系的同时，让每个模块看起来小而精，碎而不散。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。

通过理论和实际的紧密结合，可以使学员对大数据Spark技术栈有充分的认识和理解，在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识；并且通过对流处理原理的学习和与批处理架构的对比，可以对大数据处理架构有更多面的了解，为日后成长为架构师打下基础。

Spark应用场景

Yahoo将Spark用在Audience Expansion中的应用，进行点击预测和即席查询等。

淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。

腾讯大数据精准推荐借助Spark快速迭代的优势，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法，最终成功应用于广点通pCTR投放系统上。

优酷土豆将Spark应用于视频推荐(图计算)、广告业务，主要实现机器学习、图计算等迭代计算。

本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季，本套为第5季。

060.spark资源控制回顾-守护进程资源控制-job的资源分配
061.spark rdd和dep在task中的传播方式
062.BT技术介绍
063.spark广播变量的api编程使用与性能评测
064.spark广播变量原理分析
065.spark累加器原理与功能测试
066.spark自定义累加器实现气温数据双聚合
067.spark shufflemanager-sortShuffleManager介绍
068.spark shuffle产生输出的写入方式-串行方式-非串行方式
069.spark shuffle 串行化模式优化手段-零拷贝原理
070.spark shuffle map task创建ShuffleWriter原理分析
071.spark shuffle的类设计
072.spark shuffle依赖关系图分析
073.spark shuffle manager注册ShuffleHandle详解
074.BypassMergeSortShuffleWriter写过构成详解
075.UnsafeShuffleWriter原理分析

课程亮点

1.代码和原理驱动讲解Spark2.4的个技术点（全部手敲代码），图文解读

2.能够对常见的Spark2.4性能问题，使用技术进行性能调优

3.学习Spark2.4体系的知识和操作

4.理解Spark2.4新特性和原理，对Spark企业级案例，进行调优和故障排查

5.学习Spark机器学习和推荐系统

6.学习朴素贝叶斯算法