HBase的体系结构简介

4343 未经授权,禁止转载了解课程
课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
具备Java基础学员,并想进一步学习大数据的学员。
你将会学到
本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容,让学员深入理解并学习运行机制和原理,从而进一步学习大数据的相关内容。
课程简介



本系列课程将基于RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容,让学员深入理解并学习运行机制和原理,从而进一步学习大数据的相关内容。


赵渝强老师博客地址:http://collen7788.blog.51cto.com/


课程说明

==========================================================================

hadoop.PNG

Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:
(*)HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;
(*)MapReduce将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的组件,并更名为YARN(Yet Another Resource Negotiator)。


具体如下:

(*)HDFS的变化 - 增强了NameNode的水平扩展及可用性
在2.X中,HDFS的变化,主要体现在增强了NameNode的水平扩展及可用性,可以同时部署多个NameNode,这些NameNodes之间是相互独立,也就是说他们不需要相互协调,DataNode同时在所有NameNodes注册,做为他们共有的存储节点,并向定时向所有的这些NameNodes发送心跳块使用情况的报告,并处理所有NameNodes向其发送的指令。


(*)MapReduce拆分JobTracker为资源管理及任务生命周期管理两个独立的组件

MapReduce在Hadoop2中称为MR2或YARN,将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独立的服务,用于管理全部资源的ResourceManager以及管理每个应用的ApplicationMaster,ResourceManager用于管理向应用程序分配计算资源,每个ApplicationMaster用于管理应用程序、调度以及协调。一个应用程序可以是经典的MapReduce架构中的一个单独的任务,也可以是这些任务的一个DAG(有向无环图)任务。ResourceManager及每台机上的NodeManager服务,用于管理那台机的用户进程,形成计算架构。每个应用程序的ApplicationMaster实际上是一个框架具体库,并负责从ResourceManager中协调资源及与NodeManager(s)协作执行并监控任务。



赵渝强老师:大数据系列视频课程

==========================================================================

1、Hadoop大数据学习高级应用系列套餐

      https://edu.51cto.com/topic/1155.html    


2、Spark 2系列课程视频套餐

      https://edu.51cto.com/topic/1258.html 


3、大数据消息(Kafka)与实时处理(Storm)系统系列套餐

      https://edu.51cto.com/topic/1003.html 


4、NoSQL 数据库实战系列视频课程专题(上)

      https://edu.51cto.com/topic/955.html 


5、NoSQL 数据库实战系列视频课程专题(下)

      即将发布



本门课程课程大纲

==========================================================================

(1)Hadoop体系结构概述

(2)HDFS的体系结构
     1、名称节点:NameNode23:31
     2、数据节点:DataNode
     3、第二名称节点:SecondaryNameNode

(3)Yarn的体系结构
     4、Yarn的体系结构和任务的调度
     5、Yarn的资源分配方式

(4)HBase体系结构概述
     6、HBase的体系结构简介

(5)主从结构的单点故障
     7、主从结构的单点故障问题及解决方案



展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
{{pageType === 'video' ? '讨论区抢占沙发,可获得双倍学分' :'讨论区空空如也,你来讲两句~'}}
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交