Ubuntu K8S日志管理技巧

Ubuntu K8S日志管理技巧

一、基础日志查看与临时排查

• kubectl logs命令：K8S原生工具，用于直接查看Pod容器日志。基本语法：kubectl logs <pod-name>；若Pod有多个容器，需通过-c <container-name>指定容器（如kubectl logs my-pod -c nginx）；可添加-f参数实时跟踪日志（类似tail -f），--tail=100查看最后100行（避免日志过多）。

二、日志收集方案选择

• Sidecar容器模式：在同一个Pod中添加专用日志收集容器（如Fluentd、Filebeat），与主容器共享EmptyDir卷。主容器将日志写入共享目录，Sidecar容器读取并发送到日志后端（如Elasticsearch）。优点是日志分类清晰（如Nginx日志与业务日志分离），缺点是增加资源消耗（每个Pod多一个容器）。
• 集群级DaemonSet模式：通过DaemonSet在每个节点上部署日志收集器（如Fluent Bit、Logstash），自动收集节点上所有Pod的日志（从/var/log/containers或Docker日志目录读取）。优点是统一管理、资源利用率高，适合大规模集群。
• 应用直接推送：应用程序直接将日志发送到日志系统（如Elasticsearch、Kafka），无需运维介入。优点是减少中间环节、降低运维成本，缺点是对应用代码有侵入性（需修改应用代码实现日志推送）。

三、日志轮转与磁盘空间管理

• Logrotate配置：使用Logrotate工具对日志文件进行轮转（切割）、压缩和删除，防止磁盘空间满载。安装：apt-get install logrotate -y；配置示例（针对应用日志）：在/etc/logrotate.d/下创建配置文件（如myapp），内容如下：

  /path/to/app/logs/*.log {
    size 100M       # 日志文件达到100MB时轮转
    rotate 10       # 保留最近10个轮转文件
    compress        # 压缩旧日志（如.gz格式）
    delaycompress   # 延迟压缩（避免影响当前日志写入）
    missingok       # 日志文件不存在时不报错
    notifempty      # 日志为空时不轮转
  }
  

  Logrotate可通过Cron定时任务（如每天凌晨）自动执行。

四、集中化日志存储与可视化

• EFK Stack（Elasticsearch + Fluentd + Kibana）：
  • Elasticsearch：分布式搜索引擎，用于存储和索引日志，支持快速检索（如按时间、关键词查询）。
  • Fluentd：集群级日志收集器（以DaemonSet部署），从节点或Pod收集日志，过滤（如去除敏感信息）后发送到Elasticsearch。
  • Kibana：可视化工具，通过Web界面展示日志（如折线图、柱状图、表格），支持自定义Dashboard（如监控应用错误率、请求延迟）。
• Loki + Promtail + Grafana：
  • Loki：轻量级日志聚合系统（由Grafana Labs开发），专注于日志存储和查询，资源消耗比ELK低（适合资源有限的Ubuntu环境）。
  • Promtail：日志收集器（以DaemonSet部署），收集节点上Pod的日志并发送到Loki。
  • Grafana：可视化工具，通过Loki数据源展示日志（如日志搜索、Dashboard），可与Prometheus集成（实现日志与指标关联）。

五、高级日志分析与监控

• 日志过滤与分析：使用EFK或Loki的查询语法过滤日志（如Elasticsearch的query_string查询、Loki的{job="nginx"}标签过滤），快速定位问题（如应用错误日志level=error）。
• 日志告警：通过Prometheus Alertmanager或Grafana Alerts设置日志告警规则（如1分钟内出现5次500 Internal Server Error，发送邮件或Slack通知），及时响应异常。
• 多容器日志聚合：使用Kubetail或Stern工具同时查看多个Pod的日志（如kubetail app-name），支持彩色输出（区分不同Pod/容器）、正则表达式过滤（如kubetail "app.*demo"），提升运维效率。