配置实现Hadoop的HA
本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容,让学员深入理解并学习运行机制和原理,从而进一步学习大数据的相关内容。
赵渝强老师博客地址:http://collen7788.blog.51cto.com/
课程说明
==========================================================================
什么是HA?
在Hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network File System)方式,另外一种是QJM(Quorum Journal Manager)方式。Hadoop2.0的HA 机制有两个namenode,一个是active namenode,状态是active;另外一个是standby namenode,状态是standby。两者的状态是可以切换的,但不能同时两个都是active状态,最多只有1个是active状态。只有active namenode提供对外的服务,standby namenode是不对外服务的。active namenode和standby namenode之间通过NFS或者JN(journalnode,QJM方式)来同步数据。
什么是联盟?
HDFS Federation使用了多个独立的Namenode/namespace来使得HDFS的命名服务能够水平扩展。在HDFS Federation中的Namenode之间是联盟关系,他们之间相互独立且不需要相互协调。HDFS Federation中的Namenode提供了提供了命名空间和块管理功能。HDFS Federation中的datanode被所有的Namenode用作公共存储块的地方。每一个datanode都会向所在集群中所有的Namenode注册,并且会周期性的发送心跳和块信息报告,同时处理来自Namenode的指令。
赵渝强老师:大数据系列视频课程
==========================================================================
1、Hadoop大数据学习高级应用系列套餐
https://edu.51cto.com/topic/1155.html
2、Spark 2系列课程视频套餐
https://edu.51cto.com/topic/1258.html
3、大数据消息(Kafka)与实时处理(Storm)系统系列套餐
https://edu.51cto.com/topic/1003.html
4、NoSQL 数据库实战系列视频课程专题(上)
https://edu.51cto.com/topic/955.html
5、NoSQL 数据库实战系列视频课程专题(下)
即将发布
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 主从结构的单点故障的问题
- 1-1试看 主从结构的单点故障的问题07:28
- 第二章 ZooKeeper
- 2-1试看 ZooKeeper简介和体系结构10:25
- 2-2搭建ZooKeeper的Standalone模式14:08
- 2-3搭建ZooKeeper的集群环境和Demo演示21:22
- 2-4利用ZooKeeper实现分布式锁37:40
- 第三章 Hadoop的HA
- 3-1Hadoop的HA实现架构26:22
- 3-2配置实现Hadoop的HA52:22
- 第四章 HDFS的联盟
- 4-1什么是HDFS的联盟34:02
- 4-2搭建HDFS联盟的环境31:21
- 第五章 第二阶段小结
- 5-1试看 第二阶段课程小结24:38