大数据热门技术Spark+机器学习+贝叶斯算法第3季

本课程授课老师

徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师，主持开发了大产权交易系统，异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统，对java技术、大数据（hadoop、storm、spark）、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。 

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程，历经5年沉淀，调研企业上百家，通过上万学员汇总，保留较为完整的知识体系的同时，让每个模块看起来小而精，碎而不散。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。

通过理论和实际的紧密结合，可以使学员对大数据Spark技术栈有充分的认识和理解，在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识；并且通过对流处理原理的学习和与批处理架构的对比，可以对大数据处理架构有更多面的了解，为日后成长为架构师打下基础。

本套教程可以让学员熟练学习Spark技术栈，提升自己的职场竞争力，实现更好的升职或者跳槽，或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师，或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈，提升自己的价值。

Spark应用场景

Yahoo将Spark用在Audience Expansion中的应用，进行点击预测和即席查询等。

淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。

腾讯大数据精准推荐借助Spark快速迭代的优势，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法，最终成功应用于广点通pCTR投放系统上。

优酷土豆将Spark应用于视频推荐(图计算)、广告业务，主要实现机器学习、图计算等迭代计算。

本套大数据技术Spark+机器学习+贝叶斯算法共计13季，本套为第3季。

032.Dag图考察-repartition-coalsce-分区优化-并行度设置
033.AggregateByKey-reduceByKey-groupByKey方法原理考察
034.textFile文件加载与rdd变换过程考察-rose时序图使用
035.依赖关系-narrowdep-shuffledep-range-prune
036.stage-shuffleMapStage-ResultStage
037.Task-ShuffleMapTask-ResutlTask
038.DagScheduler-taskSchduler-SchedulerBackend-activeJob
039.阶段提交过程-阶段计算过程
040.Task计算-missingTasksSubmit
041.注册应用-资源分配-启动执行器
042.Task执行过程-rdd方法调用关系

课程亮点

1.代码和原理驱动讲解Spark2.4的个技术点（全部手敲代码），图文解读

2.能够对常见的Spark2.4性能问题，使用技术进行性能调优

3.学习Spark2.4体系的知识和操作

4.理解Spark2.4新特性和原理，对Spark企业级案例，进行调优和故障排查

5.学习Spark机器学习和推荐系统

6.学习朴素贝叶斯算法