大数据热门技术Spark+机器学习+贝叶斯算法第4季

本课程授课老师

徐培成老师先后在软件公司人软件工程师、系统分析师、项目经理、软件架构师，主持开发了大产权交易系统，异构数据库协同系统、电信资源管理系统、互联网综合性调查等系统，对java技术、大数据（hadoop、storm、spark）、Python、机器学习、数据库技术、互联网应用、远程通信、网络编程、分布式应用、高可用性计算机网络集群等技术有着丰富的实战经验和深厚的技术功底。 

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程，历经5年沉淀，调研企业上百家，通过上万学员汇总，保留较为完整的知识体系的同时，让每个模块看起来小而精，碎而不散。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。

通过理论和实际的紧密结合，可以使学员对大数据Spark技术栈有充分的认识和理解，在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识；并且通过对流处理原理的学习和与批处理架构的对比，可以对大数据处理架构有更多面的了解，为日后成长为架构师打下基础。

Spark应用场景

Yahoo将Spark用在Audience Expansion中的应用，进行点击预测和即席查询等。

淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。

腾讯大数据精准推荐借助Spark快速迭代的优势，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法，最终成功应用于广点通pCTR投放系统上。

优酷土豆将Spark应用于视频推荐(图计算)、广告业务，主要实现机器学习、图计算等迭代计算。

本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季，本套为第4季。

043.回顾spark核心组件和逻辑关系图
044.回顾spark job执行流程-两步走
045.作业讲解-aggregateByKey实现分区索引携带
046.数据倾斜处理-重新设计key-自定义随机分区
047.spark job部署模式介绍-部署模式与集群模式组合
048.spark job cluster-standalone组合模式考察进程
049.spark yarn部署模式
050.spark yarn-client job部署模式考察
051.关闭hadoop虚拟内存和物理内存检查配置.avi
052.配置spark.yarn.archive属性避免每次上传spark类库
053.yarn-cluser配置
054.spark standalone资源配置-daemon进程内存-worker资源配置
055.spark worker数-集群管理命令
056.spark job standalone clisent模式下资源配置-cores-memory
057.spark job yarn client模式资源配置
058.编写spark远程调试函数sendInfo
059.task占用core配置-分布式task执行情况考察

课程亮点

1.代码和原理驱动讲解Spark2.4的个技术点（全部手敲代码），图文解读

2.能够对常见的Spark2.4性能问题，使用技术进行性能调优

3.学习Spark2.4体系的知识和操作

4.理解Spark2.4新特性和原理，对Spark企业级案例，进行调优和故障排查

5.学习Spark机器学习和推荐系统

6.学习朴素贝叶斯算法