大数据运维工程师从入门学习、自动化构建、故障汇总到架构设计

本课程主要介绍大数据生态圈基础知识，主要介绍了HDFS、mapreduce、hbase、zookeeper、hive、pig、sqoop、flume、oozie、yarn、spark、kafka的基本概念，然后介绍了hadoop常见的发行版本。

接着重点介绍了hadoop完全分布式集群的构建，主要讲解了HDFS高可用模式的实现、yarn资源管理的配置，以及hadoop完全分布式集群的服务管理和功能测试。

然后介绍了通过ambari自动化构建hadoop集群的过程，同时还详细阐述了hadoop集群种分布式计算、分布式存储的内部实现原理和应用架构。

接着，以hadoop为核心，深入，详细介绍了hbase、hive、spark与hadoop进行整合的过程和应用案例。

最后，讲解了hadoop种的资料调度策略、HDFS的ACL安全规则策略如何应用，以及hadoop平台常见故障的处理方法以及基础调优策略，还介绍了如何从网络架构、服务器选型等方面如何规划、设计大数据平台。

本课程操作系统采用centos7.x版本，hadoop版本采用apache hadoop3.2.3版本。课程大纲如下：

一、hadoop大数据平台基础以及高可用企业大数据平台构建过程

1、hadoop生态圈知识    

2、hadoop发行版介绍

3、HADOOP的伪分布式部署

4、启动HADOOP伪分布式服务

5、测试hadoop的HDFS和mapreduce功能

6、双Namenode高可用Hadoop集群架构

7、Namenode与Yarn基础配置文件讲解 

8、启动高可用Namenode+Yarn服务

9、测试双NameNode高可用功能

二、使用ambari构建统一的大数据运维平台

1、Ambari的工作原理与架构

2、安装与部署Ambari

3、通过Ambari部署一个Hadoop3.x集群

4、HDFS的基本架构

5、Namenode工作机制剖析

6、SecondaryNameNode工作机制剖析

7、Namenode下的元数据存储

8、StandbyNameNode下JournalNode的元数据管理

9、HDFS读取、写入数据流程解析

10、HDFS中的shell操作

11、YARN的整体架构

12、YARN组件解读

13、YARN应用提交过程分析

14、YARN中Shell的使用

三、hadoop与hive、hbase以及spark的整合应用

1、hive的架构与应用场景

2、Hive Metastore三种运行模式

3、hive安装以及与hadoop整合

4、hive常用SQL操作

5、beeline的使用

6、HBase和Hadoop版本的选择

7、 hbase集群的安装与部署

8、启动与维护hbase集群

9、spark的整体架构分析

10、独立模式下spark集群的部署过程

11、spark-shell与Spark-Submit的使用

12、在yarn中配置spark集成过程

13、yarn client模式提交到集群

14、yarn cluster模式提交到集群

15、企业流行大数据平台架构解析

四、Yarn资源调度策略以及HDFS的ACL权限控制策略

1、Capacity Scheduler与Fair Scheduler调度策略分析

2、Fair Scheduler资料调度策略的配置过程

3、HDFS 中的 POSIX 权限模型

4、HDFS ACL 基础介绍

5、访问控制列表（ACL）使用介绍

6、Hadoop平台常见故障汇总

7、Hadoop调优之操作系统调优

8、大数据平台网络规划、硬件存储选型