赵渝强老师：大数据系列视频课程（新版）（5）HDFS

RedHat Linux 7.4版本、Hadoop 2.7.3、Spark 2 版本多面介绍大数据的整体内容，让学员深入理解并学习运行机制和原理，从而进一步学习大数据的相关内容。

赵渝强老师博客地址：http://collen7788.blog.51cto.com/

HDFS是什么？

==========================================================================

HADOOP DISTRIBUTED FILE SYSTEM，简称HDFS，是一个分布式文件系统。它是谷歌的GFS提出之后出现的另外一种文件系统。它有一定高度的容错性，而且提供了高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。
 
HDFS的设计思路？

==========================================================================

是什么提供它高吞吐量的数据访问和适合大规模数据集的应用的特性呢，这就要说一下它的设计思路。
首先HDFS的设计之初就是针对超大文件的存储的，小文件不会提高访问和存储速度，反而会降低；其次它采用了高效的访问模式，也就是经常所说的流式数据访问，特点就是一次写入多次读取；再有就是它运行在普通的硬件之上的，即使硬件故障，也就通过容错来保证数据的高可用。
 
HDFS的一些概念

==========================================================================

Block：大文件的存储会被分割为多个block进行存储。默认为64MB，每一个blok会在多个datanode上存储多份副本，默认为3份。[这些设置都能够通过配置文件进行更改]
Namenode：主要负责存储一些metadata信息，主要包括文件目录、block和文件对应关系，以及block和datanote的对应关系
Datanode：负责存储数据，上面我们所说的高度的容错性大部分在datanode上实现的[还有一部分容错性是体现在namenode和secondname，还有jobtracker的容错等]。

赵渝强老师：大数据系列视频课程

==========================================================================

1、Hadoop大数据迅速学习高级应用系列套餐

      https://edu.51cto.com/topic/1155.html    

2、Spark 2系列课程视频套餐

     https://edu.51cto.com/topic/1258.html 

3、大数据消息（Kafka）与实时处理（Storm）系统系列套餐

     https://edu.51cto.com/topic/1003.html 

4、NoSQL 数据库实战系列视频课程专题（上）

     https://edu.51cto.com/topic/955.html 

5、NoSQL 数据库实战系列视频课程专题（下）

      即将发布

本门课程课程大纲

==========================================================================

一、HDFS概述
1、HDFS课程概述

二、操作HDFS
2、通过Web Console操作HDFS
3、通过命令行操作HDFS
4、使用Java API创建目录和权限问题
5、使用Java API上传和下载数据
6、使用Java API获取文件信息

三、HDFS的原理剖析
7、HDFS上传数据的过程和原理
8、HDFS下载数据的过程和原理

四、HDFS的高级功能
9、HDFS的回收站
10、HDFS的快照
11、HDFS的安全模式和权限
12、HDFS的配额
13、HDFS的集群简介

五、HDFS的底层原理
14、HDFS底层原理之一：代理对象
15、代理对象应用案例：实现数据库连接池
16、HDFS底层原理之二：什么是RPC？