profile配置及libtirpc安装
- 掌握大规模集群的规划建设
- 掌握大规模集群的维护及故障处理
- 学习完本课程能满足生产大数据集群大部分需求
大数据运维实战课程大纲:
第1章 | 1.大数据运维之集群规划 | 课时1:400台左右规模集群规划 |
课时2:800+台集群部署规划 | ||
课时3:异构节点规划及扩容参考指标 | ||
课时4:集群主机操作系统规范 | ||
第2章 | 2.大数据运维之生产自动化工具ansible | 课时1:批量脚本及pdsh工具 |
课时2:ansible外网和离线安装 | ||
课时3:ansible配置 | ||
课时4:ansible常用命令模块之一 | ||
课时5:ansible常用命令模块之二 | ||
第3章 | 3.大数据运维之生产集群主机操作系统调优 | 课时1:配置ansible主机清单环境 |
课时2:集群无密码登录 | ||
课时3:批量修改主机密码主机名 | ||
课时4:配置系统\ambari\HDP yum源 | ||
课时5:关闭防火墙及selinux | ||
课时6:配置jdk环境 | ||
课时7:完全关闭swap | ||
课时8:limit、系统内核调整 | ||
课时9:配置ntp或chrony时间服务 | ||
课时10:内存大页hugepage调整 | ||
课时11:profile配置及libtirpc安装 | ||
课时12:调整文件系统及初始化数据磁盘 | ||
第4章 | 4.大数据运维之生产mysql数据库主从配置 | 课时1:mysql下载及ansible主机组准备 |
课时2:mysql二进制包之安装环境准备 | ||
课时3:mysql主从库配置之my.cnf配置文件 | ||
课时4:mysql主从库配置之systemd管理mysql及数据库初始化 | ||
课时5:mysql主从库配置之日志轮转 | ||
课时6:mysql主从配置 | ||
课时7:mysql创建涉及的用户及库 | ||
第5章 | 5. 大数据运维之生产kerberos主从配置 | 课时1:主kerberos安装及配置 |
课时2:kerberos主从配置 | ||
第6章 | 6. 大数据运维之生产ambari安装配置HDP2.6.5 | 课时1:ambari准备及初始化ambari-server |
课时2:ambari创建集群一 | ||
课时3:ambari创建集群二 | ||
课时4:ambari添加服务 | ||
课时5:ambari主机组配置 | ||
课时6:ambari安装添加服务遇到的报错处理 | ||
课时7:namenode HA配置 | ||
课时8:namenode HA原理 | ||
课时9:resource manager HA配置及资源队列分配 | ||
课时10:hivemetastore HA配置及hiveserver2 负载配置 | ||
课时11:hbase HA配置 | ||
课时12:集群开启lzo压缩 | ||
课时13:集群开启lzo压缩遗留问题处理 | ||
课时14:hdfs审计日志处理 | ||
课时15:hdfs等特殊用户无法提交任务及用户ID限制 | ||
课时16:集群开启hive2.1版本 | ||
课时17:开启kerberos安全认证 | ||
第7章 | 7.大数据运维之生产集群调优 | 课时1:java内存垃圾回收 |
课时2:NN和RM服务jvm参数调优 | ||
课时3:hbase和hive服务jvm参数调优 | ||
课时4:hadoop生产参数及调优一 | ||
课时5:hadoop生产参数及调优二 | ||
课时6:hadoop生产参数及调优三 | ||
课时7:hadoop生产参数及调优四 | ||
课时8:hadoop生产参数及调优五 | ||
课时9:hbase生产参数及调优一 | ||
课时10:hbase生产参数及调优二 | ||
课时11:hive生产参数及调优 | ||
课时12:tez生产集群参数 | ||
第8章 | 8.大数据运维之生产集群权限安全控制 | 课时1:多租户队列acl控制 |
课时2:hdfs setfacl控制 | ||
课时3:hbase权限控制 | ||
课时4:hive权限控制之参数配置 | ||
课时5:hive cli权限控制之hook jar包 | ||
课时6:hive beeline和cli连接权限控制 | ||
课时7:hive jdbc连接权限控制一 | ||
课时8:hive jdbc连接权限控制二 | ||
课时9:ranger权限控制一 | ||
课时10:ranger权限控制二 | ||
第9章 | 9.大数据运维之生产集群扩容 | 课时1:集群扩容一 |
课时2:集群扩容二 | ||
第10章 | 10.大数据运维之生产应用主机配置 | 课时1:应用主机租户及kerberos配置 |
课时2:hadoop应用主机之单租户配置 | ||
课时3:hadoop应用主机之多租户配置 | ||
课时4:hive1.2应用主机 | ||
课时5:hive2.1版本开启配置一 | ||
课时6:hive2.1版本开启配置二 | ||
课时7:hbase应用主机 | ||
课时8:spark2应用主机 | ||
第11章 | 11.大数据运维之HDP集成impala集群 | 课时1:impala环境准备及开启kerberos安装 |
课时2:impala配置 | ||
课时3:impala配置引用的cdh jar包 | ||
课时4:impala启动服务及客户端jdbc连接 | ||
课时5:impala配置之impalad | ||
课时6:impala需要引用的cdh jar包 | ||
课时7:haproxy安装及负载impalad | ||
课时8:开启haproxy的impala集群连接方式 | ||
第12章 | 12.大数据运维之spark升级及spark on yarn配置 | 课时1:spark2编译 |
课时2:spark on yarn之配置文件 | ||
课时3:spark thriftserver服务配置 | ||
课时4:spark jobhistory服务配置 | ||
课时5:spark运行测试 | ||
第13章 | 13.大数据运维之flink on yarn配置 | 课时1:flink编译及配置 |
课时2:flink historyserver配置 | ||
课时3:flink运行测试 | ||
第14章 | 14. 大数据运维之生产故障案例 | |
后面会持续更新相关的一些视频 !
公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
讲师收到你的提问会尽快为你解答。若选择公开提问,可以获得更多学员的帮助。
课程大纲
- 第一章 大数据运维之集群规划
- 1-1400台左右规模集群规划17:20
- 1-2800+台集群部署规划09:45
- 1-3异构节点规划及扩容参考指标11:33
- 1-4试看 集群主机操作系统规范06:24
- 第二章 大数据运维之生产自动化工具ansible
- 2-1批量脚本及pdsh工具08:05
- 2-2ansible外网和离线安装09:53
- 2-3ansible配置16:45
- 2-4ansible常用命令模块之一19:24
- 2-5ansible常用命令模块之二18:45
- 第三章 大数据运维之生产集群主机操作系统调优
- 3-1配置ansible主机清单环境03:56
![大数据集群部署及运维实战:hadoop ranger impala flink kerberos](https://s2.51cto.com/images/avater/202103/424d6cc3047f19c5423349bfacef7b4cbe9577.jpg?x-oss-process=image)
![大数据入门与核心技术项目实战视频课程(0基础学习)](https://s2.51cto.com/images/avater/202102/a6337c857fc27b9faff968ee41aa6f9f4648eb.jpg?x-oss-process=image)
![Hadoop大数据基础与提升](https://s2.51cto.com/images/201609/32f7f8b644486d78a2d7096d17da06f9a9a4a6.jpg?x-oss-process=image)
![【徐葳】Flink进阶及实战(下)](https://s2.51cto.com/images/201908/04/7ded820681af6ab592335206b6e01ba3.png?x-oss-process=image)
![大数据运维架构师培训(1):Hadoop集群(HDFS,MR,Yarn),Zookeeper集群](https://s2.51cto.com/images/202103/26/b78610f3058ede74a1a854e6e4ed4985.png?x-oss-process=image)
![大数据Hadoop生态圈体系完整视频课程](https://s2.51cto.com/images/201901/25/11bc6ee3e09e91aa4d58d4d016fa6367.jpg?x-oss-process=image)
![Spark大数据处理及机器学习【基于Python的Spark 2.3**版】](https://s2.51cto.com/images/202101/25/23624972951c2d5c598bfc635d47a0d4.jpg?x-oss-process=image)
![赵渝强老师:Hadoop 2.x(一) 大数据基础实战视频课程](https://s2.51cto.com/images/201706/05/10cadcb52b8d6713a5be1d2b1f25f6ed.png?x-oss-process=image)