下载学堂APP缓存视频离线看
- 畅销套餐
- 精选套餐
- 人气套餐
- 尊享套餐
- 高薪套餐
- 课程介绍
- 课程大纲试看
- 学员评价
适合人群：
正在从事大数据集群维护的同学 熟悉linux操作系统，准备转行做大数据维护的同学 最好对Python有基本了解，但不是必需的 最好对shell、java有基本了解，但不是必需的
你将会学到：
掌握大规模集群的规划建设及维护、掌握大规模集群中故障的处理、满足生产大数据集群大部分的需求
- 掌握大规模集群的规划建设
- 掌握大规模集群的维护及故障处理
- 学习完本课程能满足生产大数据集群大部分需求
课程简介：
大数据运维实战课程大纲：
第1章 | 1.大数据运维之集群规划 | 课时1：400台左右规模集群规划 |
课时2：800+台集群部署规划 | ||
课时3：异构节点规划及扩容参考指标 | ||
课时4：集群主机操作系统规范 | ||
第2章 | 2.大数据运维之生产自动化工具ansible | 课时1：批量脚本及pdsh工具 |
课时2：ansible外网和离线安装 | ||
课时3：ansible配置 | ||
课时4：ansible常用命令模块之一 | ||
课时5：ansible常用命令模块之二 | ||
第3章 | 3.大数据运维之生产集群主机操作系统调优 | 课时1：配置ansible主机清单环境 |
课时2：集群无密码登录 | ||
课时3：批量修改主机密码主机名 | ||
课时4：配置系统\ambari\HDP yum源 | ||
课时5：关闭防火墙及selinux | ||
课时6：配置jdk环境 | ||
课时7：完全关闭swap | ||
课时8：limit、系统内核调整 | ||
课时9：配置ntp或chrony时间服务 | ||
课时10：内存大页hugepage调整 | ||
课时11：profile配置及libtirpc安装 | ||
课时12：调整文件系统及初始化数据磁盘 | ||
第4章 | 4.大数据运维之生产mysql数据库主从配置 | 课时1：mysql下载及ansible主机组准备 |
课时2：mysql二进制包之安装环境准备 | ||
课时3：mysql主从库配置之my.cnf配置文件 | ||
课时4：mysql主从库配置之systemd管理mysql及数据库初始化 | ||
课时5：mysql主从库配置之日志轮转 | ||
课时6：mysql主从配置 | ||
课时7：mysql创建涉及的用户及库 | ||
第5章 | 5.大数据运维之生产kerberos主从配置 | 课时1：主kerberos安装及配置 |
课时2：kerberos主从配置 | ||
第6章 | 6.大数据运维之生产ambari安装配置HDP2.6.5 | 课时1：ambari准备及初始化ambari-server |
课时2：ambari创建集群一 | ||
课时3：ambari创建集群二 | ||
课时4：ambari添加服务 | ||
课时5：ambari主机组配置 | ||
课时6：ambari安装添加服务遇到的报错处理 | ||
课时7：namenode HA配置 | ||
课时8：namenode HA原理 | ||
课时9：resource manager HA配置及资源队列分配 | ||
课时10：hivemetastore HA配置及hiveserver2 负载配置 | ||
课时11：hbase HA配置 | ||
课时12：集群开启lzo压缩 | ||
课时13：集群开启lzo压缩遗留问题处理 | ||
课时14：hdfs审计日志处理 | ||
课时15：hdfs等特殊用户无法提交任务及用户ID限制 | ||
课时16：集群开启hive2.1版本 | ||
课时17：开启kerberos安全认证 | ||
第7章 | 7.大数据运维之生产集群调优 | 课时1：java内存垃圾回收 |
课时2：NN和RM服务jvm参数调优 | ||
课时3：hbase和hive服务jvm参数调优 | ||
课时4：hadoop生产参数及调优一 | ||
课时5：hadoop生产参数及调优二 | ||
课时6：hadoop生产参数及调优三 | ||
课时7：hadoop生产参数及调优四 | ||
课时8：hadoop生产参数及调优五 | ||
课时9：hbase生产参数及调优一 | ||
课时10：hbase生产参数及调优二 | ||
课时11：hive生产参数及调优 | ||
课时12：tez生产集群参数 | ||
第8章 | 8.大数据运维之生产集群权限安全控制 | 课时1：多租户队列acl控制 |
课时2：hdfs setfacl控制 | ||
课时3：hbase权限控制 | ||
课时4：hive权限控制之参数配置 | ||
课时5：hive cli权限控制之hook jar包 | ||
课时6：hive beeline和cli连接权限控制 | ||
课时7：hive jdbc连接权限控制一 | ||
课时8：hive jdbc连接权限控制二 | ||
课时9：ranger权限控制一 | ||
课时10：ranger权限控制二 | ||
第9章 | 9.大数据运维之生产集群扩容 | 课时1：集群扩容一 |
课时2：集群扩容二 | ||
第10章 | 10.大数据运维之生产应用主机配置 | 课时1：应用主机租户及kerberos配置 |
课时2：hadoop应用主机之单租户配置 | ||
课时3：hadoop应用主机之多租户配置 | ||
课时4：hive1.2应用主机 | ||
课时5：hive2.1版本开启配置一 | ||
课时6：hive2.1版本开启配置二 | ||
课时7：hbase应用主机 | ||
课时8：spark2应用主机 | ||
第11章 | 11.大数据运维之HDP集成impala集群 | 课时1：impala环境准备及开启kerberos安装 |
课时2：impala配置 | ||
课时3：impala配置引用的cdh jar包 | ||
课时4：impala启动服务及客户端jdbc连接 | ||
课时5：impala配置之impalad | ||
课时6：impala需要引用的cdh jar包 | ||
课时7：haproxy安装及负载impalad | ||
课时8：开启haproxy的impala集群连接方式 | ||
第12章 | 12.大数据运维之spark升级及spark on yarn配置 | 课时1：spark2编译 |
课时2：spark on yarn之配置文件 | ||
课时3：spark thriftserver服务配置 | ||
课时4：spark jobhistory服务配置 | ||
课时5：spark运行测试 | ||
第13章 | 13.大数据运维之flink on yarn配置 | 课时1：flink编译及配置 |
课时2：flink historyserver配置 | ||
课时3：flink运行测试 | ||
第14章 | 14.大数据运维之生产故障案例 | |
后面会持续更新相关的一些视频 ！
课程大纲-大数据集群部署及运维实战:hadoop ranger impala flink kerberos
资料下载第1章大数据运维之集群规划(45分钟4节)
第2章大数据运维之生产自动化工具ansible(1小时12分钟5节)
第3章大数据运维之生产集群主机操作系统调优(1小时15分钟12节)
5
