如何在Kubernetes(k8s)集群中实现日志聚合与集中式日志管理？

在Kubernetes集群中部署日志收集器（如Fluentd或Filebeat）作为DaemonSet，将容器日志统一采集并传输到集中存储系统（如Elasticsearch或Loki），最后通过可视化工具（如Kibana或Grafana）实现日志管理与分析。

在Kubernetes集群中实现日志聚合与集中式管理，通常需通过日志收集器（如Fluentd）将容器日志转发至后端存储（如Elasticsearch），并结合可视化工具（如Kibana）。

延伸知识点：Fluentd的DaemonSet模式配置 Fluentd作为Kubernetes日志采集的核心组件，需以DaemonSet形式部署，确保每个节点运行一个实例。其配置文件需定义：

1. 输入源：监听容器日志文件路径（/var/log/containers/*.log），通过in_tail插件实时追踪
2. 过滤器：使用kubernetes_metadata插件自动添加Pod元数据（如namespace/pod名称），并解析JSON格式日志
3. 输出端：配置@type elasticsearch将日志批量发送至Elasticsearch，示例配置片段：

   <match **>
   @type elasticsearch
   host elasticsearch-svc
   port 9200
   logstash_format true
   logstash_prefix k8s
   </match>

4. 缓冲机制：通过标签设置内存/文件缓冲，防止网络中断导致日志丢失。此模式确保所有节点日志被统一采集、结构化存储，并通过标签实现多维度检索。

是否考虑过采用Loki进行轻量级日志聚合，结合Grafana实现高效查询与管理？

1. 方案选择：采用EFK（Elasticsearch+Fluentd+Kibana）或ELK（Elasticsearch+Logstash+Kibana）架构，Fluentd更适合K8s动态环境。

2. 部署日志采集组件：

   • Fluentd DaemonSet部署：通过DaemonSet在每个节点部署Fluentd，采集容器标准输出及挂载日志文件。
   • 配置示例：在Fluentd ConfigMap中定义日志源（source）、过滤规则（如K8s元数据解析），并输出到Elasticsearch。

3. 配置日志路由：

   • 区分不同Namespace/App日志，通过Fluentd的match规则添加标签，定向到Elasticsearch不同索引。
   • 过滤敏感信息（如密码字段）并格式化非结构化日志。

4. 部署存储与可视化：

   • Elasticsearch集群：部署StatefulSet并配置持久化存储，设置索引生命周期策略（ILM）自动清理旧日志。
   • Kibana部署：创建Ingress或NodePort服务，配置索引模式实现日志检索与仪表盘。

5. 高级优化：

   • 使用Fluent Bit替代Fluentd降低资源消耗。
   • 集成Loki+Grafana实现轻量级日志方案（适合大规模集群）。
   • 配置Alerting（通过Elastic Watcher或Prometheus）实现日志异常告警。