交付Kafka至K8S实践

Kubernetes/k8s入门与进阶实践：https://edu.51cto.com/course/31242.html

0基础入门LinuxSre工程师全套体系课：https://edu.51cto.com/topic/5099.html

讲师简介

徐亮伟，51CTO金牌讲师、严选名师，10多年+开发&运维从业经验，曾任知名企业架构师，某互联网独角兽公司特邀技术顾问，擅长Linux、Shell、Nginx、Tomcat、JVM、Haproxy、LVS、Keepalived、Zabbix、Ldap、Git、Jenkins、ELKStack、Ansible、SaltStack、Docker、Kubernetes、Prometheus、Ceph等。并且在云平台架构，微服务架构等领域有较深入研究。授课风格通俗易懂、授课内容核心突出，授课以实战项目驱动。深受学生和用人企业的欢迎。

1、如何加入VIP交流群

1、讲师主页提供了粉丝群入口

2、下载课程附件资料解压即可获取加入VIP群方式）

3、联系51cto客服，邀请进入VIP群

4、通过粉丝群咨询，如何进入VIP群

2、为什么要加入VIP交流群

1、技术群大家可以相互交流，比如找工作技巧、学习技巧、

2、课程碰到搞不定的可以提问，兴许你的问题有其他小伙伴碰到过，避免走弯路

3、结交到一帮志同道合的小伙伴一起学习、同时我也会经常在VIP群内与大家交流和分享

3、VIP群提供课程答疑服务吗？

1、好的课程，肯定是需要有人答疑，所以我的课程都提供答疑服务和远程服务

2、学习过程中难免会碰到一些问题，老师的一些指点可能会解决你许久的难题

4、我是如何讲解Kubernetes

1、站在小白的立场来讲解Kubernetes

2、从最基本的内容讲起，而后一点点衍生扩展，由点到线、由线到面，组织网状知识结构

3、避免复制粘贴读ppt，课程全程手撕YAML，让学员看的懂、听的会、还能自己动手写

4、课程每个章节都精心设计了多个不同的实践案例，能更好的巩固所学知识内容

5、提供课程配套文档，大大缩减学员做笔记时间，将更多的时间留出来实现课程内容；

5、本次 Kubernetes基于ELKStack日志采集与分析实践（核心课程的部分大纲）

二十七、Kubernetes基于ELKStack日志分析与实践

1、日志的重要性

2、如何收集日志

3、ELK+Kafka日志分析架构

4、K8S日志收集三种实践方案

5、K8S需要收集的两类日志（系统组件日志、业务Pod日志）

5、ELKStack环境准备与前置条件

6、交付ES-Master、ES-Data集群至K8S

7、交付Kibana可视化至K8S 

8、交付Zookeeper集群、Kafka集群至K8S

9、交付Kafka可视化EFAK至K8S

场景实践1：基于节点DaemonSet运行日志Agent实践

1、部署架构说明

2、以DaemonSet方式交付Filebeat至K8S

3、采集kube-system名称空间日志实践

4、采集Ingress-nginx名称空间日志实践

5、采集kubelet应用日志实践

6、优化filebeat输出字段，以及输出至Kafka集群

7、交付Logstash读取Kafka数据并根据名称空间写入不同ES索引

8、Kibana创建索引、日志数据展示以及日志数据分析

实战场景2：基于SideCar模式运行日志Agent实践

1、部署架构说明

2、制作业务镜像并将其日志输出本地路径；

3、制作Filebeat镜像，定义需要传递变量的相关内容；

4、以Sidecar方式运行测试环境项目, 并检查日志是否采集至Kafka；

5、以Sidecar方式运行生产环境项目, 并检查日志是否采集至Kafka；

6、交付测试环境Logstash，读取Kafka中测试环境所有Topic的数据；

7、交付生产环境Logstash，读取Kafka中生产环境所有Topic的数据；

8、Kibana根据索引筛选不同环境日志数据、

9、Kibana筛选相同环境不同项目日志数据；

基于节点DamonSet运行日志Agent实践

基于SideCar模式运行日志Agent实践

Kafka TOPIC

ElkStack整体需要交付的Pod