大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程

大数据核心课程之一,帮助学员学习Hadoop三大核心组件HDFS、MapReduce、YARN的关键知识点。

7698人学习

中级51课时2018/08/03更新

二维码下载学堂APP缓存视频离线看

马彦平
    • 畅销套餐
    • 精选套餐
    • 人气套餐
    • 尊享套餐
    • 高薪套餐
大数据运维必知必会
大数据方向计算机知识筑基宝典系列视频课程
3527人学习
¥99.00
Java语言核心知识筑基宝典视频课程
16894人学习
¥99.00
大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程
7698人学习
¥199.00
更 多 7 门 课 程
大数据开发必知必会
Java语言核心知识筑基宝典视频课程
16894人学习
¥99.00
大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程
7698人学习
¥199.00
Spark开发核心技能进阶宝典
1351人学习
¥199.00
更 多 9 门 课 程
GoldenGate+ETL/Kettle专题(92个项目)
GoldenGate数据库容灾迁移01(OGG同构异构、数据库迁移、数据同步、容灾复制)
159037人学习
¥998.00
GoldenGate数据库容灾迁移02(OGG同构异构、数据库迁移、数据同步、容灾复制)
41858人学习
¥889.00
GoldenGate数据库容灾迁移03(OGG同构异构、数据库迁移、数据同步、容灾复制)
22038人学习
¥889.00
更 多 7 门 课 程
大数据运维架构师实战培训专题2.0
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
74765人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
28598人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
27502人学习
¥399.00
更 多 12 门 课 程
大数据运维架构师实战培训专题2.0
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
74765人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
28598人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
27502人学习
¥399.00
更 多 12 门 课 程
  • 课程介绍
  • 课程大纲

适合人群:

已学习过入门课程、基础课程中的计算机知识以及Java

你将会学到:

大数据核心课程之一,帮助学员学习Hadoop三大核心组件HDFS、MapReduce、YARN的关键知识点。

课程简介:

对大数据、云计算方向的学员来说,Hadoop生态体系的知识是面试和的重要组成部分,而Hadoop核心的三驾马车——HDFS、MapReduce、YARN又是重中之重。这套课程包含50讲课,涉及三大组件的所有关键知识点,并辅以大量的演示和练习,使得学员们既能具备一定的理论高度,又能学习基本的实操技能。

对于本机构三个方向的学员有不同的要求:开发方向的学员要求较高,需要学习所有理论知识,熟悉所有编码和操作。运维方向的学员要求中等,需要学习所有理论知识,熟悉命令行下的操作,Java代码能看懂即可。分析方向的学员,只需要学习所有理论知识,对实操部分可以根据个人兴趣有选择地尝试。

课程体系图-14.png

展开更多

课程大纲-大数据方向Hadoop核心知识进阶宝典——HDFS、MapReduce、YARN视频课程

  • 第1章准备工作(1小时17分钟4节)

  • 1-1

    主机环境准备介绍Hadoop的三种部署模式,并指导大家进行伪分布模式部署的基础准备工作,包括启用虚拟机、安装JDK、创建账号、配置免密登陆。

    「仅限付费用户」点击下载“14-1 主机环境准备.pdf”

    [23:54]
  • 1-2

    搭建伪分布模式集群指导大家正式进行伪分布模式集群部署,包括下载程序包、修改环境变量和配置文件、启动服务、运行wordcount测试。

    「仅限付费用户」点击下载“14-2 搭建伪分布模式集群.pdf”

    [28:03]
  • 1-3

    搭建Java开发环境指导大家搭建IntelliJ IDEA下的Hadoop Java开发环境,包括准备用户和HDFS数据、创建maven工程、编写代码、配置运行环境(本地执行MapReduce,写到远程HDFS)等步骤。

    「仅限付费用户」点击下载“14-3 搭建Java开发环境.pdf”

    [25:24]
  • 1-4

    课程配套资源课程配套资源

    「仅限付费用户」点击下载“Hadoop核心-数萌教育小马哥.zip”

    [00:20]
  • 第2章HDFS(6小时8分钟13节)

  • 2-1

    HDFS的特性和概念介绍Hadoop的分布式文件系统HDFS的特性,以及数据块、NameNode、DataNode、命名空间、数据复制、安全模式等基本概念。

    「仅限付费用户」点击下载“14-4 HDFS的特性和概念.pdf”

    [35:34]
  • 2-2

    HDFS的命令行接口介绍HDFS的伪分布配置,以及HDFS命令行接口的格式、常用的命令动作,最后补充介绍一个并行拷贝命令distcp。

    「仅限付费用户」点击下载“14-5 HDFS的命令行接口.pdf”

    [29:39]
  • 2-3

    Hadoop的文件系统和接口Hadoop可以使用多种文件系统,本讲简单介绍它们的基本特性,以及Java、HTTP、NFS等几种不同的文件系统接口的特性和用法。

    「仅限付费用户」点击下载“14-6 Hadoop的文件系统和接口.pdf”

    [22:10]
  • 2-4

    HDFS的Java接口-读取和查询介绍并演示使用Hadoop URL和FileSystem读取HDFS数据的方法,以及查询文件元数据、列出文件、使用通配符查询的方法。

    「仅限付费用户」点击下载“14-7 HDFS的Java接口-读取和查询.pdf”

    [36:56]
  • 2-5

    HDFS的Java接口-写入和删除介绍并演示对HDFS进行写操作的方法,包括写入文件、创建目录、删除文件或目录、修改文件元数据等。

    「仅限付费用户」点击下载“14-8 HDFS的Java接口-写入和删除.pdf”

    [23:31]
  • 2-6

    HDFS的数据流机制剖析客户端连接HDFS进行文件读取的流程、文件写入的流程,介绍并演示了HDFS的一致性模型。

    「仅限付费用户」点击下载“14-9 HDFS的数据流机制.pdf”

    [26:05]
  • 2-7

    HDFS的数据完整性和压缩介绍HDFS的数据完整性机制。介绍Hadoop支持的压缩算法,演示使用压缩和解压API,最后补充压缩和输入分片的关系。

    「仅限付费用户」点击下载“14-10 HDFS的数据完整性和压缩.pdf”

    [31:20]
  • 2-8

    HDFS的长期性数据结构介绍了HDFS的永久性数据结构,即NameNode、Secondary NameNode、DataNode怎样在磁盘上组织永久性数据。最后补充HDFS安全模式的一些话题。

    「仅限付费用户」点击下载“14-11 HDFS的永久性数据结构.pdf”

    [32:40]
  • 2-9

    HDFS的高可用介绍NameNode为什么有可用性问题,解决该问题的两种HA方案是怎样的,以及在两种方案下,分别如何进行故障转移与规避。

    「仅限付费用户」点击下载“14-12 HDFS的高可用.pdf”

    [23:14]
  • 2-10

    HDFS的集中式缓存管理介绍HDFS的集中式缓存的概念、架构、组成、所需配置、管理命令,最后给大家进行演示。

    「仅限付费用户」点击下载“14-13 HDFS的集中式缓存管理.pdf”

    [29:37]
  • 2-11

    HDFS的快照介绍HDFS快照的基本概念、常用命令,最后给大家进行演示。

    「仅限付费用户」点击下载“14-14 HDFS的快照.pdf”

    [16:32]
  • 2-12

    HDFS的配额和短路本地读介绍HDFS配额的概念、类型、常用命令,并进行演示。介绍短路本地读的概念和配置方法。

    「仅限付费用户」点击下载“14-15 HDFS的配额和短路本地读.pdf”

    [26:44]
  • 2-13

    HDFS的管理命令介绍HDFS的常用管理命令,分为用户命令和管理员命令两类来进行讲解和演示。

    「仅限付费用户」点击下载“14-16 HDFS的管理命令.pdf”

    [33:59]
  • 第3章Hadoop I/O(1小时36分钟4节)

  • 3-1

    Hadoop的内置序列化介绍序列化的基本概念,重点介绍Hadoop内置序列化机制Writable接口和多种不同的Writable类。

    「仅限付费用户」点击下载“14-17 Hadoop的内置序列化.pdf”

    [23:04]
  • 3-2

    Avro的数据类型和模式Hadoop还可以支持其他序列化框架,本讲介绍Avro这种框架的基本特点、数据类型、模式。

    「仅限付费用户」点击下载“14-18 Avro的数据类型和模式.pdf”

    [18:28]
  • 3-3

    Avro的序列化和反序列化介绍并演示使用Avro的API进行序列化和反序列化的方法,包括使用Java API、使用自动生成的API读写。补充介绍Avro的数据文件以及其他特性。

    「仅限付费用户」点击下载“14-19 Avro的序列化和反序列化.pdf”

    [20:36]
展开更多
在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部