Kafka在Linux上的日志管理方法如下:
配置日志目录与清理策略
server.properties中设置log.dirs指定日志存储路径,如/var/log/kafka。log.cleanup.policy配置清理策略:delete(按时间/大小删除)或compact(压缩保留最新数据),并设置log.retention.hours(保留时长)、log.segment.bytes(日志段大小)等参数。使用logrotate工具轮转日志
logrotate,在/etc/logrotate.d/下创建Kafka配置文件,定义日志分割、压缩和保留规则,例如每天轮转、保留7天并压缩。/var/log/kafka/*.log {
daily
rotate 7
compress
missingok
create 0644 kafka kafka
}
监控与告警
Prometheus+Grafana监控日志文件大小、磁盘空间等指标,设置异常告警。df -h检查日志目录磁盘占用,避免空间不足。备份与恢复
kafka-console-consumer导出数据到指定位置。Kafka MirrorMaker或Confluent Replicator复制数据到其他集群。日志查看与分析
tail -f或less命令查看日志文件。注意:修改配置后需重启Kafka服务生效,操作前建议备份数据。