centos k8s日志管理方案

在CentOS上部署和管理Kubernetes（k8s）集群的日志是一个重要的任务，它可以帮助你监控、调试和分析应用程序的运行状况。以下是一些常用的日志管理方案：

日志收集方案

• DaemonSet：在每个节点上运行一个日志收集程序，适用于集群规模较大、日志采集需求一致的场景。
• Sidecar：在每个Pod中附加一个日志收集容器，与业务容器共享日志目录，适用于单个应用需要定制化日志采集逻辑的场景。
• 应用程序直接推送日志：应用直接将日志发送到日志系统，如Elasticsearch，适用于日志量极大的场景。

日志存储

• 本地存储：日志可以存储在节点的本地文件系统中，如 /var/log/containers/。
• 集中存储：使用分布式存储系统，如Elasticsearch，可以存储和索引大量的日志数据。

日志分析

• ELK Stack（Elasticsearch, Logstash, Kibana）：一种常见的日志分析解决方案，用于收集、存储和分析日志数据。
• 其他工具：如Prometheus、Grafana等，可以用于日志数据的监控和可视化。

日志轮转和管理

• logrotate：用于管理日志文件的轮转、压缩和删除旧的日志文件，以避免无限制地消耗磁盘空间。

日志监控和告警

• Prometheus：可以配置日志监控和告警，通过抓取日志数据来设置警报规则。

部署EFK（Elasticsearch, Fluentd, Kibana）日志系统的步骤

1. 安装Elasticsearch：

   apiVersion: v1
   kind: Service
   metadata:
     name: elasticsearch
   spec:
     ports:
     - port: 9200
       targetPort: 9200
     selector:
       app: elasticsearch
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: elasticsearch
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: elasticsearch
     template:
       metadata:
         labels:
           app: elasticsearch
       spec:
         containers:
         - name: elasticsearch
           image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
           ports:
           - containerPort: 9200
             containerPort: 9300
   

2. 安装Fluentd：

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: fluentd
   spec:
     selector:
       matchLabels:
         app: fluentd
     template:
       metadata:
         labels:
           app: fluentd
       spec:
         containers:
         - name: fluentd
           image: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch
           env:
           - name: FLUENT_ELASTICSEARCH_HOST
             value: "elasticsearch.logging.svc.cluster.local"
           - name: FLUENT_ELASTICSEARCH_PORT
             value: "9200"
   

3. 安装Kibana：

   apiVersion: v1
   kind: Service
   metadata:
     name: kibana
   spec:
     type: NodePort
     ports:
     - port: 5601
       targetPort: 5601
       nodePort: 31000
     selector:
       app: kibana
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: kibana
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: kibana
     template:
       metadata:
         labels:
           app: kibana
       spec:
         containers:
         - name: kibana
           image: docker.elastic.co/kibana/kibana:7.12.1
           env:
           - name: ELASTICSEARCH_HOSTS
             value: "http://elasticsearch.logging.svc.cluster.local:9200"
   

通过上述方法，你可以在CentOS上有效地管理k8s集群的日志，确保应用程序的运行状况得到有效监控和分析。