配置ansible主机清单环境

900 未经授权,禁止转载了解课程
课程介绍
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
适合人群
正在从事大数据集群维护的同学 熟悉linux操作系统,准备转行做大数据维护的同学 最好对Python有基本了解,但不是必需的 最好对shell、java有基本了解,但不是必需的
你将会学到
掌握大规模集群的规划建设及维护、掌握大规模集群中故障的处理、满足生产大数据集群大部分的需求
  • 掌握大规模集群的规划建设
  • 掌握大规模集群的维护及故障处理
  • 学习完本课程能满足生产大数据集群大部分需求
课程简介

大数据运维实战课程大纲:

第1章

1.大数据运维之集群规划

课时1:400台左右规模集群规划

课时2:800+台集群部署规划

课时3:异构节点规划及扩容参考指标

课时4:集群主机操作系统规范

第2章

2.大数据运维之生产自动化工具ansible

课时1:批量脚本及pdsh工具

课时2:ansible外网和离线安装

课时3:ansible配置

课时4:ansible常用命令模块之一

课时5:ansible常用命令模块之二

 第3章

3.大数据运维之生产集群主机操作系统调优

课时1:配置ansible主机清单环境

课时2:集群无密码登录

课时3:批量修改主机密码主机名

课时4:配置系统\ambari\HDP yum源

课时5:关闭防火墙及selinux

课时6:配置jdk环境

课时7:完全关闭swap

课时8:limit、系统内核调整

课时9:配置ntp或chrony时间服务

课时10:内存大页hugepage调整

课时11:profile配置及libtirpc安装

课时12:调整文件系统及初始化数据磁盘

 第4章

4.大数据运维之生产mysql数据库主从配置

课时1:mysql下载及ansible主机组准备

课时2:mysql二进制包之安装环境准备

课时3:mysql主从库配置之my.cnf配置文件

课时4:mysql主从库配置之systemd管理mysql及数据库初始化

课时5:mysql主从库配置之日志轮转

课时6:mysql主从配置

课时7:mysql创建涉及的用户及库

第5章

5. 大数据运维之生产kerberos主从配置

课时1:主kerberos安装及配置

课时2:kerberos主从配置

第6章

6. 大数据运维之生产ambari安装配置HDP2.6.5

课时1:ambari准备及初始化ambari-server

课时2:ambari创建集群一

课时3:ambari创建集群二

课时4:ambari添加服务

课时5:ambari主机组配置

课时6:ambari安装添加服务遇到的报错处理

课时7:namenode HA配置

课时8:namenode HA原理

课时9:resource manager HA配置及资源队列分配

课时10:hivemetastore HA配置及hiveserver2 负载配置

课时11:hbase HA配置

课时12:集群开启lzo压缩

课时13:集群开启lzo压缩遗留问题处理

课时14:hdfs审计日志处理

课时15:hdfs等特殊用户无法提交任务及用户ID限制

课时16:集群开启hive2.1版本

课时17:开启kerberos安全认证

第7章

7.大数据运维之生产集群调优

课时1:java内存垃圾回收

课时2:NN和RM服务jvm参数调优

课时3:hbase和hive服务jvm参数调优

课时4:hadoop生产参数及调优一

课时5:hadoop生产参数及调优二

课时6:hadoop生产参数及调优三

课时7:hadoop生产参数及调优四

课时8:hadoop生产参数及调优五

课时9:hbase生产参数及调优一

课时10:hbase生产参数及调优二

课时11:hive生产参数及调优

课时12:tez生产集群参数

第8章

8.大数据运维之生产集群权限安全控制

课时1:多租户队列acl控制

课时2:hdfs setfacl控制

课时3:hbase权限控制

课时4:hive权限控制之参数配置

课时5:hive cli权限控制之hook jar包

课时6:hive beeline和cli连接权限控制

课时7:hive jdbc连接权限控制一

课时8:hive jdbc连接权限控制二

课时9:ranger权限控制一

课时10:ranger权限控制二

第9章

9.大数据运维之生产集群扩容

课时1:集群扩容一

课时2:集群扩容二

第10章

10.大数据运维之生产应用主机配置

课时1:应用主机租户及kerberos配置

课时2:hadoop应用主机之单租户配置

课时3:hadoop应用主机之多租户配置

课时4:hive1.2应用主机

课时5:hive2.1版本开启配置一

课时6:hive2.1版本开启配置二

课时7:hbase应用主机

课时8:spark2应用主机

第11章

11.大数据运维之HDP集成impala集群

课时1:impala环境准备及开启kerberos安装

课时2:impala配置

课时3:impala配置引用的cdh jar包

课时4:impala启动服务及客户端jdbc连接

课时5:impala配置之impalad

课时6:impala需要引用的cdh jar包

课时7:haproxy安装及负载impalad

课时8:开启haproxy的impala集群连接方式

第12章

12.大数据运维之spark升级及spark on yarn配置

课时1:spark2编译

课时2:spark on yarn之配置文件

课时3:spark thriftserver服务配置

课时4:spark jobhistory服务配置

课时5:spark运行测试

第13章

13.大数据运维之flink on yarn配置

课时1:flink编译及配置

课时2:flink historyserver配置

课时3:flink运行测试

第14章

14. 大数据运维之生产故障案例












后面会持续更新相关的一些视频 !

展开更多
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
{{pageType === 'video' ? '讨论区抢占沙发,可获得双倍学分' :'讨论区空空如也,你来讲两句~'}}
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
提问

讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。

记录时间点
记录提问时视频播放的时间点,便于后续查看
公开提问
提交