Combiner的原理与作用
Hadoop是大数据平台处理的框架的基石,尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。现在Hadoop已经在大中小企业中广泛使用,Hadoop工程师的需求量也越来越大。
随着Python在数据分析、大数据和人工智能的广泛使用,越来越多的企业选择使用Python来编写Hadoop代码,从而达到代码的统一性。而目前市面上的Hadoop基本上是使用Java来写的。为适应更多企业的实际需求,特此推出Python大数据之Hadoop编程基础与提升系列课程。
本课程由清华学神51CTO高级讲师刘声老师亲自手把手零基础授课,内容详实,深入浅出。学员可在两周内学习大数据Hadoop开发的Python编程技术,使用Python快速写出强大的Hadoop应用。
通过本课程的学习,学员可学习Hadoop的架构原理和使用场景,并通过贯穿课程的项目进行实战锻炼,从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现自身价值。
此外,学员还可以学习刘声老师的另一个大数据课程《Python大数据之Spark编程基础与提升》https://edu.51cto.com/course/12649.html
课程目录
一、Hadoop入门
hadoop介绍
二、Hadoop之HDFS
hadoop HDFS指令全解析
启动hadoop的方法与注意事项
三、Hadoop之MapReduce
Mapreduce -Python编程原理+实战
在Hadoop集群中实际运行MapReduce
【案例】使用Python编写MapReduce代码求最低温度
【案例】分析好友交际关系
Hadoop中的Shuffle&Sort原理与应用
四、多级MapReduce任务组合级联
MRstep构建多级MapReduce原理与实例
【案例】使用多级MapReduce分析城市年薪数据
五、Hadoop中Combiner的原理与应用
Combiner的原理解析
多级MapReduce任务的combiner
【案例】使用combiner分析顾客数据
【案例】分析漫威漫画英雄关系
【扩展】Hadoop参数解析
六、企业大项目实战:使用Hadoop构建电影推荐引擎
电影相似度的数学原理——余弦相似度
【大项目】使用Python+Hadoop编写电影推荐引擎代码
七、附:Python Hadoop作业与解答
作业解答:商品数据分析
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 Hadoop入门
- 1-1试看 Hadoop的由来、应用与原理26:11
- 第二章 Hadoop之HDFS
- 2-1Hadoop HDFS指令全解析10:56
- 2-2启动hadoop的方法与注意事项06:38
- 第三章 Hadoop之MapReduce
- 3-1Mapreduce -Python编程原理+实战01:11:02
- 3-2在Hadoop集群中实际运行MapReduce02:05
- 3-3【案例】使用Python编写MapReduce代码求最低温度24:44
- 3-4【案例】分析好友交际关系12:37
- 3-5Hadoop中的Shuffle&Sort原理与应用05:11
- 第四章 多级MapReduce任务组合级联
- 4-1MRstep构建多级MapReduce原理与实例18:38
- 4-2【案例】使用多级MapReduce分析城市年薪数据11:13
![Python大数据之Hadoop编程视频课程(含案例)](https://s2.51cto.com/images/avater/201908/36955fd569f5be829145976ad28f6193eb6e4c.jpg?x-oss-process=image)
![Python大数据之Spark编程基础与提升视频课程](https://s2.51cto.com/images/202101/25/49a27587b947a0c8e68485a8352cc51d.jpg?x-oss-process=image)
![大数据入门与核心技术项目实战视频课程(0基础学习)](https://s2.51cto.com/images/avater/202102/a6337c857fc27b9faff968ee41aa6f9f4648eb.jpg?x-oss-process=image)
![Hadoop大数据基础与提升](https://s2.51cto.com/images/201609/32f7f8b644486d78a2d7096d17da06f9a9a4a6.jpg?x-oss-process=image)
![【徐葳】Flink进阶及实战(下)](https://s2.51cto.com/images/201908/04/7ded820681af6ab592335206b6e01ba3.png?x-oss-process=image)
![大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群](https://s2.51cto.com/images/202103/26/b78610f3058ede74a1a854e6e4ed4985.png?x-oss-process=image)
![大数据Hadoop生态圈体系完整视频课程](https://s2.51cto.com/images/201901/25/11bc6ee3e09e91aa4d58d4d016fa6367.jpg?x-oss-process=image)
![Spark大数据处理及机器学习【基于Python的Spark 2.3**版】](https://s2.51cto.com/images/202101/25/23624972951c2d5c598bfc635d47a0d4.jpg?x-oss-process=image)