RabbitMQ Linux故障怎么排查

RabbitMQ Linux 故障排查速查手册

一 快速定位与信息收集

• 明确影响范围：是单节点异常还是全集群不可用，是否伴随消息积压或业务断流。优先查看管理界面（默认 http://:15672）或执行命令：
  • 查看集群健康：rabbitmqctl cluster_status（关注 Running nodes、是否有 down/partitioned）
  • 查看队列与积压：rabbitmqctl list_queues name messages_ready messages_unacknowledged
  • 资源与告警：df -h、free -m，并留意日志中的 disk alarm / memory alarm
• 日志与系统线索：
  • 实时查看节点日志：tail -n 200 -f /var/log/rabbitmq/rabbit@<hostname>.log /var/log/rabbitmq/rabbit@<hostname>-sasl.log
  • 服务启动失败或异常退出：journalctl -xe | tail -n 200
• 网络连通性（客户端到 Broker）：
  • 基础连通：ping <broker_ip>
  • 端口可达：telnet <broker_ip> 5672（AMQP）、4369（epmd）、25672（集群分发）
  • 进程与端口：ps aux | grep rabbitmq，ss -lntp | egrep '5672|4369|25672'
• 连接与通道问题定位：
  • 连接与消费者：rabbitmqctl list_connections、rabbitmqctl list_consumers
  • 未确认消息：rabbitmqctl list_queues name messages_unacknowledged
  • 队列内存：rabbitmqctl list_queues name memory
• 资源与告警阈值：
  • 内存/磁盘：rabbitmqctl status 可查看内存占用模块；磁盘满或接近阈值会触发 disk alarm 并进入流控，需优先处置。

二 常见故障与修复对照表

以上检查与修复要点对应的命令与现象，可参考官方常用命令、日志路径与典型故障案例。

三 高频场景的标准修复步骤

• 场景A 节点宕机或无法启动
  1. 收集现场：journalctl -xe、tail -n 200 /var/log/rabbitmq/rabbit@*.log、rabbitmqctl status
  2. 修复根因：磁盘/内存、权限、端口占用、配置错误等
  3. 重启服务：systemctl restart rabbitmq-server 或 service rabbitmq-server restart
  4. 重新入群（如被移除）：rabbitmqctl stop_app → rabbitmqctl join_cluster rabbit@<other-node> → rabbitmqctl start_app
  5. 验证：cluster_status 正常、队列恢复、无 alarm
• 场景B 集群分区（network partition）
  1. 确认：cluster_status 显示 partitioned
  2. 处理：统一 cookie、排查网络；选择分区处理策略（如 rabbitmqctl set_cluster_partition_handling autoheal）
  3. 恢复：重启异常节点，观察分区恢复、队列同步
  4. 复盘：完善监控与网络稳定性
• 场景C 磁盘或内存告警导致流控
  1. 告警确认：df -h、free -m、日志 disk/memory alarm
  2. 处置：清理/扩容；必要时调整 disk_free_limit / vm_memory_high_watermark
  3. 观察：流控解除、入队速率恢复
• 场景D 消息丢失或重复消费风险
  1. 核对队列与消息属性：durable、auto-delete 等
  2. 消费者侧：启用 手动确认（ack），异常时不要丢失确认；处理完成再 ack
  3. 持久化权衡：持久化提升可靠性但降低吞吐，结合业务选择策略。

四 日志与关键文件速查

• 日志路径与实时查看
  • 节点日志：/var/log/rabbitmq/rabbit@<hostname>.log
  • SASL 日志：/var/log/rabbitmq/rabbit@<hostname>-sasl.log
  • 实时跟踪：tail -f /var/log/rabbitmq/rabbit@<hostname>.log
• 启动与故障线索
  • 启动错误：/var/log/rabbitmq/startup_err
  • Erlang 崩溃：erl_crash.dump（配合日志定位）
• 数据与会话目录
  • Mnesia 数据库：/var/lib/rabbitmq/mnesia/（权限应为 rabbitmq:rabbitmq）
  • Cookie 文件：/var/lib/rabbitmq/.erlang.cookie（集群节点需一致，权限 400）
• 常用命令清单
  • 集群与健康：rabbitmqctl cluster_status
  • 队列与积压：rabbitmqctl list_queues name messages_ready messages_unacknowledged
  • 连接与消费者：rabbitmqctl list_connections、rabbitmqctl list_consumers
  • 队列内存：rabbitmqctl list_queues name memory
  • 管理插件：rabbitmq-plugins enable rabbitmq_management

五 预防与优化建议

• 容量与水位：合理设置 disk_free_limit / vm_memory_high_watermark，避免磁盘/内存触顶导致流控或假死
• 队列策略：对大堆积或内存敏感业务，优先 Lazy Queue；镜像队列需评估同步与容量成本
• 分区策略：生产建议配置 autoheal 或明确分区处理预案，并做好网络质量与稳定性建设
• 监控告警：覆盖 节点存储/内存、队列长度、未 ack 消息、流控事件、分区事件，做到可观测、可恢复
• 连接治理：控制 连接/通道 数量与生命周期，优化 prefetch_count 与确认机制，避免雪崩与堆积
• 安全与合规：最小权限、强口令、网络隔离、TLS 加密、定期轮换 cookie 与证书。