centos k8s日志管理如何操作

CentOS环境下Kubernetes日志管理操作指南

一、日志管理核心流程

Kubernetes日志管理需覆盖收集→存储→查看/分析→轮转/清理→监控告警全链路，以下是具体操作步骤：

二、日志收集：选择合适工具

日志收集是基础，常见方案需根据集群规模、资源预算选择：

1. EFK Stack（官方推荐）

EFK由Elasticsearch（存储/索引）、Fluentd（收集/转发）、Kibana（可视化）组成，适合需要全文检索、复杂分析的场景。

Fluentd部署（DaemonSet模式）：
通过DaemonSet在每个节点上运行1个Fluentd实例，收集节点上/var/log/containers/*.log（容器日志）、/var/log/kubelet.log（kubelet日志）等文件，并转发至Elasticsearch。
示例DaemonSet配置（简化版）：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-logging
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1.16
        env:
          - name: FLUENT_ELASTICSEARCH_HOST
            value: "elasticsearch.kube-system.svc.cluster.local"  # Elasticsearch服务地址
          - name: FLUENT_ELASTICSEARCH_PORT
            value: "9200"
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers

应用配置后，Fluentd会自动收集节点上所有容器的日志并发送至Elasticsearch。

2. Filebeat（轻量替代）

若集群资源有限，可使用Filebeat（轻量级日志收集器）替代Fluentd。Filebeat部署为Sidecar容器，与业务Pod共享卷，收集容器日志并转发至Elasticsearch。
示例Pod配置：

apiVersion: v1
kind: Pod
metadata:
  name: payment-service
spec:
  containers:
  - name: app
    image: payment:v1.2
    volumeMounts:
    - name: logs
      mountPath: /var/log/app
  - name: filebeat
    image: docker.elastic.co/beats/filebeat:8.9
    volumeMounts:
    - name: logs
      mountPath: /var/log/app
    - name: filebeat-config
      mountPath: /usr/share/filebeat/filebeat.yml
      subPath: filebeat.yml
  volumes:
  - name: logs
    emptyDir: {}
  - name: filebeat-config
    configMap:
      name: filebeat-config

需提前创建ConfigMap配置Filebeat（指向Elasticsearch地址）。

三、日志存储：选择持久化方案

日志需长期保存，常见存储方案：

Elasticsearch：适合需要全文检索、复杂分析的场景，支持水平扩展，但资源消耗较高。
Loki：轻量级日志聚合系统（专为Kubernetes设计），资源消耗低，与Prometheus集成好，适合日志+监控统一管理。
对象存储（S3/MinIO）：适合长期归档，成本低，但无法实时检索。

四、日志查看与分析：可视化工具

Kibana（EFK）：通过Kibana创建索引模式（如k8s-logs-*），使用Discover查看实时日志，Dashboard构建可视化面板（如错误日志趋势、Pod日志量排名）。
Grafana（Loki）：若使用Loki，可通过Grafana的Explore功能查询日志，支持标签过滤（如namespace=prod、pod_name=payment-service）。
命令行工具：
- kubectl logs：查看Pod日志（示例：kubectl logs -f payment-service-abcde -n prod 实时查看）；
- kubectl logs --previous：查看容器重启前的日志；
- kubectl logs -c <container-name>：查看多容器Pod中指定容器的日志。

五、日志轮转与清理：防止磁盘爆满

容器日志默认存储在节点/var/log/containers目录，需通过logrotate配置轮转规则，避免日志文件过大。
示例/etc/logrotate.d/kubernetes-containers配置：

/var/lib/docker/containers/*/*.log {
    daily                   # 每天轮转
    rotate 7                # 保留7天
    compress                # 压缩旧日志
    delaycompress           # 延迟压缩（避免压缩当天日志）
    missingok               # 文件不存在不报错
    notifempty              # 空文件不轮转
    copytruncate            # 复制后截断原文件（不影响正在写入的日志）
}

此配置会每天轮转Docker容器日志，保留最近7天的压缩日志，节省磁盘空间。

六、日志监控与告警：及时发现问题

结合Prometheus+Alertmanager实现日志监控与告警：

Prometheus：采集Elasticsearch/Loki的日志指标（如日志量、错误日志数、索引延迟）。
Alertmanager：设置告警规则（如“5分钟内错误日志数超过100条”），通过邮件、Slack等方式通知运维人员。
示例Prometheus告警规则：

groups:
- name: k8s-log-alerts
  rules:
  - alert: HighErrorLogs
    expr: rate(elasticsearch_indices_indexing_slowlog_total[5m]) > 100
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "K8s集群错误日志过多 (instance {{ $labels.instance }})"
      description: "5分钟内错误日志数超过100条，需立即排查"

七、最佳实践

日志输出规范：应用程序应输出结构化日志（如JSON格式），包含timestamp、level、message、pod_name等字段，便于后续检索和分析。
日志分级：根据日志重要性分为DEBUG（调试）、INFO（常规）、WARN（警告）、ERROR（错误），设置不同保留策略（如ERROR日志保留30天，DEBUG日志保留7天）。
敏感信息过滤：使用Fluentd/Filebeat的过滤插件（如grok、mutate）脱敏日志中的敏感信息（如银行卡号、密码）。
资源限制：为日志收集器（Fluentd、Filebeat）设置合理的resources.limits（如内存限制500Mi），避免因日志量过大导致节点OOM。

通过以上步骤，可在CentOS环境的Kubernetes集群中实现高效的日志管理，满足故障排查、性能优化、安全审计等需求。