Ubuntu Kafka配置中监控与日志

在Ubuntu上配置Kafka时，监控和日志是两个重要的方面，它们有助于确保Kafka集群的高可用性、性能和安全性。以下是关于Kafka监控和日志配置的详细信息：

Kafka监控

• JMX监控：KafkaJava应用，支持JMX监控。可以通过设置JMX端口来启用监控，例如：

  export JMX_PORT=9999
  export KAFKA_JMX_OPTS="-Djava.rmi.server.hostname=localhost -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false"
  bin/kafka-server-start.sh config/server.properties
  

• 使用Prometheus和Grafana进行监控：可以通过下载JMX Exporter来收集Kafka的JVM指标，然后使用Prometheus进行抓取，并在Grafana中展示监控图表。

  wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.18.0/jmx_prometheus_javaagent-0.18.0.jar
  vi /root/kafka.yml
  # 配置JMX Exporter的相关设置
  export KAFKA_OPTS="-javaagent:/root/jmx_prometheus_javaagent-0.18.0.jar=9090:/root/kafka.yml"
  bin/kafka-server-start.sh config/server.properties
  

Kafka日志

• 日志配置：Kafka的日志配置主要在config/server.properties文件中进行。以下是一些关键的日志配置项：

  • log.dirs：日志存储的目录。
  • log.retention.hours：日志保留的时间（以小时为单位）。
  • log.retention.bytes：日志保留的最大字节数。
  • log.segment.bytes：每个日志段的最大字节数。
  • log.roll.hours：日志滚动的时间间隔。

  示例配置：

  log.dirs=/tmp/kafka-logs
  log.retention.hours=168
  log.retention.bytes=1073741824
  log.segment.bytes=1048576
  log.roll.hours=1
  

• 日志清理：Kafka使用日志清理策略来管理磁盘空间。可以通过配置log.cleaner.min.compaction.lag.ms和log.cleaner.min.compaction.lag.max.ms来调整日志清理的频率和条件。

  log.cleaner.min.compaction.lag.ms=1000
  log.cleaner.min.compaction.lag.max.ms=180000
  

参考资料