CentOS上Kubernetes日志管理方法

CentOS上Kubernetes日志管理全链路指南

Kubernetes日志管理的核心目标是实现日志的集中收集、安全存储、高效分析与持续监控，覆盖“收集→存储→查看/分析→轮转/清理→监控告警”五大环节，确保系统可追溯性与稳定性。

EFK由**Elasticsearch（存储/索引）、Fluentd（收集/转发）、Kibana（可视化）**组成，是Kubernetes生态中最成熟的日志解决方案。

部署步骤：
- Fluentd（DaemonSet模式）：通过DaemonSet在每个节点上运行1个Fluentd实例，挂载宿主机/var/log/containers（容器日志目录）、/var/log/kubelet.log（kubelet日志）等路径，收集节点上所有容器的JSON格式日志，并转发至Elasticsearch。示例配置需设置FLUENT_ELASTICSEARCH_HOST（Elasticsearch服务地址）、FLUENT_ELASTICSEARCH_PORT（默认9200）等参数。
- Elasticsearch：部署为StatefulSet（保证数据持久化），配置资源限制（如内存512Mi、CPU 1核）以避免资源耗尽。
- Kibana：部署后配置连接Elasticsearch（如elasticsearch.kube-system.svc.cluster.local:9200），通过Kibana的“Discover”功能查看实时日志，“Dashboard”构建错误日志趋势、Pod日志量排名等可视化面板。

特点：Loki是专为Kubernetes设计的轻量级日志聚合系统，与Prometheus无缝集成，资源消耗远低于Elasticsearch；Grafana的“Explore”功能支持标签过滤（如namespace=prod、pod_name=payment-service），查询效率高。
部署步骤：
- Loki：部署为Deployment，配置存储后端（如S3、MinIO或本地文件系统）。
- Promtail：以DaemonSet方式运行，收集节点上/var/log/containers/*.log文件，通过标签（如namespace、pod）分类后发送至Loki。
- Grafana：添加Loki数据源，通过“Explore”页面输入查询语句（如{namespace="prod"}）查看日志。

部署方式：可作为Sidecar容器与业务Pod共享卷（收集应用日志文件），或部署为DaemonSet（收集节点上所有容器日志）。示例Sidecar配置需设置volumeMounts共享日志目录，filebeat.inputs配置监控该目录。
优缺点：轻量级、资源消耗低，但不如Fluentd功能丰富（如复杂日志处理），适合小型集群或资源紧张的环境。

Elasticsearch：适合需要全文检索、复杂分析（如错误日志统计、趋势分析）的场景，支持水平扩展，但资源消耗高（需预留足够内存与CPU）。
Loki：专为Kubernetes设计，存储结构化日志（带标签），与Prometheus集成好，适合日志+监控统一管理，资源消耗低。
对象存储（S3/MinIO）：适合长期归档（如保留6个月以上日志），成本低，但无法实时检索（需通过工具导出后分析）。
本地存储：默认存储路径为/var/log/containers（容器日志）、/var/log/kubelet.log（kubelet日志），适合临时存储或调试，需定期清理避免磁盘爆满。

Kibana（EFK）：通过“Discover”查看实时日志（支持正则过滤、时间范围选择），“Dashboard”构建可视化面板（如错误日志数、Pod日志量排名），“Visualize”创建自定义图表（如错误日志趋势）。
Grafana（Loki）：进入“Explore”页面，选择Loki数据源，输入标签过滤语句（如{namespace="prod", pod_name="payment-service"}）查看日志，支持表格、日志流等多种视图。
命令行工具：
- kubectl logs：查看Pod实时日志（kubectl logs -f payment-service-abcde -n prod），或查看容器重启前日志（kubectl logs --previous），或多容器Pod中指定容器日志（kubectl logs -c <container-name>）。
- journalctl：查看系统日志（如kubelet日志：journalctl -u kubelet -f），支持按时间（-since "2025-11-01"）、优先级（-p err）过滤。

logrotate配置：通过/etc/logrotate.d/kubernetes-containers文件设置容器日志轮转规则，避免日志文件过大占用磁盘空间。示例配置：
```
/var/log/containers/*.log {
  daily
  rotate 7
  compress
  delaycompress
  missingok
  notifempty
  sharedscripts
  postrotate
    /usr/bin/killall -HUP fluentd  # 重启Fluentd重新读取日志文件
  endscript
}
```
该配置表示：每天轮转1次，保留最近7天的压缩日志（.gz格式），轮转时不中断正在写入的日志。

Prometheus + Alertmanager：
- 采集指标：通过Prometheus采集Elasticsearch（如elasticsearch_indices_indexing_slowlog_total，索引慢日志数）、Loki（如loki_dropped_chunks_total，丢弃的日志块数）的日志相关指标。
- 告警规则：设置告警规则（如“5分钟内错误日志数超过100条”），示例Prometheus告警规则：
```
groups:
- name: k8s-log-alerts
  rules:
  - alert: HighErrorLogs
    expr: rate(elasticsearch_indices_indexing_slowlog_total[5m]) > 100
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "K8s集群错误日志过多 (instance {{ $labels.instance }})"
      description: "5分钟内错误日志数超过100条，需立即排查"
```
- 通知方式：通过Alertmanager配置邮件、Slack等方式发送告警通知，确保问题及时处理。

日志分类存储：按命名空间、应用类型（如payment-service、order-service）分类存储日志，便于后续检索与分析。
应用日志输出优化：建议应用将日志输出至stdout和stderr（而非文件），符合Kubernetes集群级日志处理规范，方便Fluentd等工具收集。
定期备份日志：对重要日志（如业务日志、审计日志）进行定期备份（如同步至S3或异地存储），防止数据丢失。

最新问答