赵渝强老师：大数据系列课程（新版）（4）Hadoop的体系结构

本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容，让学员深入理解并学习运行机制和原理，从而进一步学习大数据的相关内容。

赵渝强老师博客地址：http://collen7788.blog.51cto.com/

课程说明

==========================================================================

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：
（*）HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；
（*）MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARN（Yet Another Resource Negotiator）。

具体如下：

（*）HDFS的变化 - 增强了NameNode的水平扩展及可用性
在2.X中，HDFS的变化，主要体现在增强了NameNode的水平扩展及可用性，可以同时部署多个NameNode，这些NameNodes之间是相互独立，也就是说他们不需要相互协调，DataNode同时在所有NameNodes注册，做为他们共有的存储节点，并向定时向所有的这些NameNodes发送心跳块使用情况的报告，并处理所有NameNodes向其发送的指令。

（*）MapReduce拆分JobTracker为资源管理及任务生命周期管理两个独立的组件

MapReduce在Hadoop2中称为MR2或YARN，将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的服务，用于管理全部资源的ResourceManager以及管理每个应用的ApplicationMaster，ResourceManager用于管理向应用程序分配计算资源，每个ApplicationMaster用于管理应用程序、调度以及协调。一个应用程序可以是经典的MapReduce架构中的一个单独的任务，也可以是这些任务的一个DAG（有向无环图）任务。ResourceManager及每台机上的NodeManager服务，用于管理那台机的用户进程，形成计算架构。每个应用程序的ApplicationMaster实际上是一个框架具体库，并负责从ResourceManager中协调资源及与NodeManager(s)协作执行并监控任务。

赵渝强老师：大数据系列视频课程

==========================================================================

1、Hadoop大数据学习高级应用系列套餐

      https://edu.51cto.com/topic/1155.html    

2、Spark 2系列课程视频套餐

     https://edu.51cto.com/topic/1258.html 

3、大数据消息（Kafka）与实时处理（Storm）系统系列套餐

     https://edu.51cto.com/topic/1003.html 

4、NoSQL 数据库实战系列视频课程专题（上）

     https://edu.51cto.com/topic/955.html 

5、NoSQL 数据库实战系列视频课程专题（下）

      即将发布

本门课程课程大纲

==========================================================================

（1）Hadoop体系结构概述

（2）HDFS的体系结构
     1、名称节点：NameNode23:31
     2、数据节点：DataNode
     3、第二名称节点：SecondaryNameNode

（3）Yarn的体系结构
     4、Yarn的体系结构和任务的调度
     5、Yarn的资源分配方式

（4）HBase体系结构概述
     6、HBase的体系结构简介

（5）主从结构的单点故障
     7、主从结构的单点故障问题及解决方案