下载学堂APP缓存视频离线看
- 畅销套餐
- 精选套餐
- 人气套餐
- 尊享套餐
- 高薪套餐
- 课程介绍
- 课程大纲
适合人群：
已学习过入门课程、基础课程中的计算机知识以及Java
你将会学到：
大数据核心课程之一，帮助学员学习Hadoop三大核心组件HDFS、MapReduce、YARN的关键知识点。
课程简介：
对大数据、云计算方向的学员来说，Hadoop生态体系的知识是面试和的重要组成部分，而Hadoop核心的三驾马车——HDFS、MapReduce、YARN又是重中之重。这套课程包含50讲课，涉及三大组件的所有关键知识点，并辅以大量的演示和练习，使得学员们既能具备一定的理论高度，又能学习基本的实操技能。
对于本机构三个方向的学员有不同的要求：开发方向的学员要求较高，需要学习所有理论知识，熟悉所有编码和操作。运维方向的学员要求中等，需要学习所有理论知识，熟悉命令行下的操作，Java代码能看懂即可。分析方向的学员，只需要学习所有理论知识，对实操部分可以根据个人兴趣有选择地尝试。
课程大纲-大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程
第1章准备工作(1小时17分钟4节)
1-3
搭建Java开发环境指导大家搭建IntelliJ IDEA下的Hadoop Java开发环境，包括准备用户和HDFS数据、创建maven工程、编写代码、配置运行环境（本地执行MapReduce，写到远程HDFS）等步骤。
「仅限付费用户」点击下载“14-3 搭建Java开发环境.pdf”
[25:24]开始学习第2章HDFS(6小时8分钟13节)
2-1
HDFS的特性和概念介绍Hadoop的分布式文件系统HDFS的特性，以及数据块、NameNode、DataNode、命名空间、数据复制、安全模式等基本概念。
「仅限付费用户」点击下载“14-4 HDFS的特性和概念.pdf”
[35:34]开始学习2-2
HDFS的命令行接口介绍HDFS的伪分布配置，以及HDFS命令行接口的格式、常用的命令动作，最后补充介绍一个并行拷贝命令distcp。
「仅限付费用户」点击下载“14-5 HDFS的命令行接口.pdf”
[29:39]开始学习2-3
Hadoop的文件系统和接口Hadoop可以使用多种文件系统，本讲简单介绍它们的基本特性，以及Java、HTTP、NFS等几种不同的文件系统接口的特性和用法。
「仅限付费用户」点击下载“14-6 Hadoop的文件系统和接口.pdf”
[22:10]开始学习2-4
HDFS的Java接口-读取和查询介绍并演示使用Hadoop URL和FileSystem读取HDFS数据的方法，以及查询文件元数据、列出文件、使用通配符查询的方法。
「仅限付费用户」点击下载“14-7 HDFS的Java接口-读取和查询.pdf”
[36:56]开始学习2-5
HDFS的Java接口-写入和删除介绍并演示对HDFS进行写操作的方法，包括写入文件、创建目录、删除文件或目录、修改文件元数据等。
「仅限付费用户」点击下载“14-8 HDFS的Java接口-写入和删除.pdf”
[23:31]开始学习2-6
HDFS的数据流机制剖析客户端连接HDFS进行文件读取的流程、文件写入的流程，介绍并演示了HDFS的一致性模型。
「仅限付费用户」点击下载“14-9 HDFS的数据流机制.pdf”
[26:05]开始学习2-7
HDFS的数据完整性和压缩介绍HDFS的数据完整性机制。介绍Hadoop支持的压缩算法，演示使用压缩和解压API，最后补充压缩和输入分片的关系。
「仅限付费用户」点击下载“14-10 HDFS的数据完整性和压缩.pdf”
[31:20]开始学习2-8
HDFS的长期性数据结构介绍了HDFS的永久性数据结构，即NameNode、Secondary NameNode、DataNode怎样在磁盘上组织永久性数据。最后补充HDFS安全模式的一些话题。
「仅限付费用户」点击下载“14-11 HDFS的永久性数据结构.pdf”
[32:40]开始学习2-10
HDFS的集中式缓存管理介绍HDFS的集中式缓存的概念、架构、组成、所需配置、管理命令，最后给大家进行演示。
「仅限付费用户」点击下载“14-13 HDFS的集中式缓存管理.pdf”
[29:37]开始学习2-12
HDFS的配额和短路本地读介绍HDFS配额的概念、类型、常用命令，并进行演示。介绍短路本地读的概念和配置方法。
「仅限付费用户」点击下载“14-15 HDFS的配额和短路本地读.pdf”
[26:44]开始学习第3章Hadoop I/O(1小时36分钟4节)
3-1
Hadoop的内置序列化介绍序列化的基本概念，重点介绍Hadoop内置序列化机制Writable接口和多种不同的Writable类。
「仅限付费用户」点击下载“14-17 Hadoop的内置序列化.pdf”
[23:04]开始学习3-2
Avro的数据类型和模式Hadoop还可以支持其他序列化框架，本讲介绍Avro这种框架的基本特点、数据类型、模式。
「仅限付费用户」点击下载“14-18 Avro的数据类型和模式.pdf”
[18:28]开始学习3-3
Avro的序列化和反序列化介绍并演示使用Avro的API进行序列化和反序列化的方法，包括使用Java API、使用自动生成的API读写。补充介绍Avro的数据文件以及其他特性。
「仅限付费用户」点击下载“14-19 Avro的序列化和反序列化.pdf”
[20:36]开始学习
“马彦平”老师的其他课程更多+
