ad
close

大数据运维工程师从入门学习、自动化构建、故障汇总到架构设计

通过本课程的学习,可以使零基础学员系统、多面、学习大数据运维技能。达到即学即用的效果。

1791人学习

初级58课时2022/07/22更新

二维码下载学堂APP缓存视频离线看

高俊峰
  • 畅销套餐
  • 精选套餐
  • 人气套餐
  • 尊享套餐
  • 高薪套餐
Hadoop大数据运维入门与企业实战【完整版】
Ansible与Ansible-playbook应用实战视频课程
4974人学习
¥199.00
大数据运维hadoop零基础入门学习以及高可用集群的构建
3461人学习
¥188.00
Hadoop大数据平台自动化运维工具Ambari应用实战
3705人学习
¥199.00
更 多 9 门 课 程
GoldenGate+ETL/Kettle专题(92个项目)
GoldenGate数据库容灾迁移01(OGG同构异构、数据库迁移、数据同步、容灾复制)
194289人学习
¥998.00
GoldenGate数据库容灾迁移02(OGG同构异构、数据库迁移、数据同步、容灾复制)
48531人学习
¥889.00
GoldenGate数据库容灾迁移03(OGG同构异构、数据库迁移、数据同步、容灾复制)
25223人学习
¥889.00
更 多 7 门 课 程
大数据运维架构师实战培训专题2.0
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
85553人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
33582人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
33507人学习
¥399.00
更 多 12 门 课 程
大数据运维工程师培训实战专题1.0(Hadoop生态圈)
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
85553人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
33582人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
33507人学习
¥399.00
更 多 5 门 课 程
大数据运维工程师培训实战专题1.0(Hadoop生态圈)
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
85553人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
33582人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
33507人学习
¥399.00
更 多 5 门 课 程
  • 课程介绍
  • 课程大纲

适合人群:

具备Linux基础,要熟悉Linux常用命令的使用。 本课程适合系统运维工程师、想转行大数据运维的同学进行学习。

你将会学到:

通过本课程的学习,可以使零基础学员系统、多面、学习大数据运维技能。达到即学即用的效果。

  • 学完本课程,可使学员快速掌握hadoop大数据生态栈各个组件的使用和整合。

课程简介:

本课程主要介绍大数据生态圈基础知识,主要介绍了HDFS、mapreduce、hbase、zookeeper、hive、pig、sqoop、flume、oozie、yarn、spark、kafka的基本概念,然后介绍了hadoop常见的发行版本。


接着重点介绍了hadoop完全分布式集群的构建,主要讲解了HDFS高可用模式的实现、yarn资源管理的配置,以及hadoop完全分布式集群的服务管理和功能测试。


然后介绍了通过ambari自动化构建hadoop集群的过程,同时还详细阐述了hadoop集群种分布式计算、分布式存储的内部实现原理和应用架构。


接着,以hadoop为核心,深入,详细介绍了hbase、hive、spark与hadoop进行整合的过程和应用案例。


最后,讲解了hadoop种的资料调度策略、HDFS的ACL安全规则策略如何应用,以及hadoop平台常见故障的处理方法以及基础调优策略,还介绍了如何从网络架构、服务器选型等方面如何规划、设计大数据平台。



本课程操作系统采用centos7.x版本,hadoop版本采用apache hadoop3.2.3版本。课程大纲如下:



一、hadoop大数据平台基础以及高可用企业大数据平台构建过程

1、hadoop生态圈知识    

2、hadoop发行版介绍

3、HADOOP的伪分布式部署

4、启动HADOOP伪分布式服务

5、测试hadoop的HDFS和mapreduce功能

6、双Namenode高可用Hadoop集群架构

7、Namenode与Yarn基础配置文件讲解 

8、启动高可用Namenode+Yarn服务

9、测试双NameNode高可用功能


二、使用ambari构建统一的大数据运维平台


1、Ambari的工作原理与架构

2、安装与部署Ambari

3、通过Ambari部署一个Hadoop3.x集群

4、HDFS的基本架构

5、Namenode工作机制剖析

6、SecondaryNameNode工作机制剖析

7、Namenode下的元数据存储

8、StandbyNameNode下JournalNode的元数据管理

9、HDFS读取、写入数据流程解析

10、HDFS中的shell操作

11、YARN的整体架构

12、YARN组件解读

13、YARN应用提交过程分析

14、YARN中Shell的使用



三、hadoop与hive、hbase以及spark的整合应用


1、hive的架构与应用场景

2、Hive Metastore三种运行模式

3、hive安装以及与hadoop整合

4、hive常用SQL操作

5、beeline的使用

6、HBase和Hadoop版本的选择

7、 hbase集群的安装与部署

8、启动与维护hbase集群

9、spark的整体架构分析

10、独立模式下spark集群的部署过程

11、spark-shell与Spark-Submit的使用

12、在yarn中配置spark集成过程

13、yarn client模式提交到集群

14、yarn cluster模式提交到集群

15、企业流行大数据平台架构解析



四、Yarn资源调度策略以及HDFS的ACL权限控制策略


1、Capacity Scheduler与Fair Scheduler调度策略分析

2、Fair Scheduler资料调度策略的配置过程

3、HDFS 中的 POSIX 权限模型

4、HDFS ACL 基础介绍

5、访问控制列表(ACL)使用介绍

6、Hadoop平台常见故障汇总

7、Hadoop调优之操作系统调优

8、大数据平台网络规划、硬件存储选型


展开更多

课程大纲-大数据运维工程师从入门学习、自动化构建、故障汇总到架构设计

展开更多
close
  • 课程介绍
  • 课程大纲
在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部