大数据集群部署及运维实战:hadoop ranger impala flink kerberos

掌握大规模集群的规划建设及维护、掌握大规模集群中故障的处理、满足生产大数据集群大部分的需求

902人学习

中级94课时2021/03/24更新

二维码下载学堂APP缓存视频离线看

Miach
    • 畅销套餐
    • 精选套餐
    • 人气套餐
    • 尊享套餐
    • 高薪套餐
GoldenGate+ETL/Kettle专题(92个项目)
GoldenGate数据库容灾迁移01(OGG同构异构、数据库迁移、数据同步、容灾复制)
171930人学习
¥998.00
GoldenGate数据库容灾迁移02(OGG同构异构、数据库迁移、数据同步、容灾复制)
43278人学习
¥889.00
GoldenGate数据库容灾迁移03(OGG同构异构、数据库迁移、数据同步、容灾复制)
22583人学习
¥889.00
更 多 7 门 课 程
大数据运维架构师实战培训专题2.0
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
80435人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
31663人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
31378人学习
¥399.00
更 多 12 门 课 程
赵强-大数据课程之从Hadoop到Spark专题
赵渝强老师:Hadoop 2.x(一) 大数据基础实战视频课程
67224人学习
¥279.00
赵渝强老师:Spark系列视频课程之一:Scala编程语言视频课程
19759人学习
¥179.00
赵渝强老师:Spark 2系列视频课程之二:Spark Core
14650人学习
¥279.00
更 多 11 门 课 程
大数据运维工程师培训实战专题1.0(Hadoop生态圈)
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
80435人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
31663人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
31378人学习
¥399.00
更 多 5 门 课 程
大数据运维工程师培训实战专题1.0(Hadoop生态圈)
大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群
80435人学习
¥499.00
大数据运维架构师培训(2):Hbase,Hive, Phoenix,Pig,Impala,Kudu
31663人学习
¥333.00
大数据运维架构师培训(3):Spark,Flink, Storm,Kafka,Solr
31378人学习
¥399.00
更 多 5 门 课 程
  • 课程介绍
  • 课程大纲

适合人群:

正在从事大数据集群维护的同学 熟悉linux操作系统,准备转行做大数据维护的同学 最好对Python有基本了解,但不是必需的 最好对shell、java有基本了解,但不是必需的

你将会学到:

掌握大规模集群的规划建设及维护、掌握大规模集群中故障的处理、满足生产大数据集群大部分的需求

  • 掌握大规模集群的规划建设
  • 掌握大规模集群的维护及故障处理
  • 学习完本课程能满足生产大数据集群大部分需求

课程简介:

大数据运维实战课程大纲:

第1章

1.大数据运维之集群规划

课时1:400台左右规模集群规划

课时2:800+台集群部署规划

课时3:异构节点规划及扩容参考指标

课时4:集群主机操作系统规范

第2章

2.大数据运维之生产自动化工具ansible

课时1:批量脚本及pdsh工具

课时2:ansible外网和离线安装

课时3:ansible配置

课时4:ansible常用命令模块之一

课时5:ansible常用命令模块之二

 第3章

3.大数据运维之生产集群主机操作系统调优

课时1:配置ansible主机清单环境

课时2:集群无密码登录

课时3:批量修改主机密码主机名

课时4:配置系统\ambari\HDP yum源

课时5:关闭防火墙及selinux

课时6:配置jdk环境

课时7:完全关闭swap

课时8:limit、系统内核调整

课时9:配置ntp或chrony时间服务

课时10:内存大页hugepage调整

课时11:profile配置及libtirpc安装

课时12:调整文件系统及初始化数据磁盘

 第4章

4.大数据运维之生产mysql数据库主从配置

课时1:mysql下载及ansible主机组准备

课时2:mysql二进制包之安装环境准备

课时3:mysql主从库配置之my.cnf配置文件

课时4:mysql主从库配置之systemd管理mysql及数据库初始化

课时5:mysql主从库配置之日志轮转

课时6:mysql主从配置

课时7:mysql创建涉及的用户及库

第5章

5.大数据运维之生产kerberos主从配置

课时1:主kerberos安装及配置

课时2:kerberos主从配置

第6章

6.大数据运维之生产ambari安装配置HDP2.6.5

课时1:ambari准备及初始化ambari-server

课时2:ambari创建集群一

课时3:ambari创建集群二

课时4:ambari添加服务

课时5:ambari主机组配置

课时6:ambari安装添加服务遇到的报错处理

课时7:namenode HA配置

课时8:namenode HA原理

课时9:resource manager HA配置及资源队列分配

课时10:hivemetastore HA配置及hiveserver2 负载配置

课时11:hbase HA配置

课时12:集群开启lzo压缩

课时13:集群开启lzo压缩遗留问题处理

课时14:hdfs审计日志处理

课时15:hdfs等特殊用户无法提交任务及用户ID限制

课时16:集群开启hive2.1版本

课时17:开启kerberos安全认证

第7章

7.大数据运维之生产集群调优

课时1:java内存垃圾回收

课时2:NN和RM服务jvm参数调优

课时3:hbase和hive服务jvm参数调优

课时4:hadoop生产参数及调优一

课时5:hadoop生产参数及调优二

课时6:hadoop生产参数及调优三

课时7:hadoop生产参数及调优四

课时8:hadoop生产参数及调优五

课时9:hbase生产参数及调优一

课时10:hbase生产参数及调优二

课时11:hive生产参数及调优

课时12:tez生产集群参数

第8章

8.大数据运维之生产集群权限安全控制

课时1:多租户队列acl控制

课时2:hdfs setfacl控制

课时3:hbase权限控制

课时4:hive权限控制之参数配置

课时5:hive cli权限控制之hook jar包

课时6:hive beeline和cli连接权限控制

课时7:hive jdbc连接权限控制一

课时8:hive jdbc连接权限控制二

课时9:ranger权限控制一

课时10:ranger权限控制二

第9章

9.大数据运维之生产集群扩容

课时1:集群扩容一

课时2:集群扩容二

第10章

10.大数据运维之生产应用主机配置

课时1:应用主机租户及kerberos配置

课时2:hadoop应用主机之单租户配置

课时3:hadoop应用主机之多租户配置

课时4:hive1.2应用主机

课时5:hive2.1版本开启配置一

课时6:hive2.1版本开启配置二

课时7:hbase应用主机

课时8:spark2应用主机

第11章

11.大数据运维之HDP集成impala集群

课时1:impala环境准备及开启kerberos安装

课时2:impala配置

课时3:impala配置引用的cdh jar包

课时4:impala启动服务及客户端jdbc连接

课时5:impala配置之impalad

课时6:impala需要引用的cdh jar包

课时7:haproxy安装及负载impalad

课时8:开启haproxy的impala集群连接方式

第12章

12.大数据运维之spark升级及spark on yarn配置

课时1:spark2编译

课时2:spark on yarn之配置文件

课时3:spark thriftserver服务配置

课时4:spark jobhistory服务配置

课时5:spark运行测试

第13章

13.大数据运维之flink on yarn配置

课时1:flink编译及配置

课时2:flink historyserver配置

课时3:flink运行测试

第14章

14.大数据运维之生产故障案例












后面会持续更新相关的一些视频 !

展开更多

课程大纲-大数据集群部署及运维实战:hadoop ranger impala flink kerberos

展开更多
在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部