Debian 上 RabbitMQ 集群故障排查手册
一 快速定位流程
- 服务与端口：确认节点进程与管理插件可用，检查关键端口连通性
命令示例：
- systemctl status rabbitmq-server
- rabbitmq-plugins list | grep management
- ss -lntp | egrep ‘:(5672|15672|4369|25672)’
- 管理界面：http://<节点IP>:15672（默认账号 guest/guest，生产环境请使用自建管理员）
- 集群状态：查看节点是否一致、是否有分区
命令示例：rabbitmqctl cluster_status（关注 running_nodes、partitions 字段）
- 资源与告警：内存、磁盘是否触发阈值
命令示例：rabbitmqctl status（查看 memory_limit、disk_free_limit 与实际使用）
- 日志线索：优先查看 /var/log/rabbitmq/ 下的核心日志与 SASL 日志，搜索关键字如 error、cluster、partition、authentication failed、permission denied
以上步骤能快速判断是“进程/网络/集群元数据/资源”哪个层面异常，从而进入对应分支处理。
二 常见故障与修复
- 节点无法加入集群或提示 nodedown
典型现象：join_cluster 报 “unable to connect to epmd … nxdomain” 或 “nodedown”。
处理要点：
- 确保各节点 /etc/hosts 能互相解析短节点名（如 rabbit@node1），或使用 DNS；
- 核对 Erlang Cookie 一致：/var/lib/rabbitmq/.erlang.cookie 内容相同且权限为 400；
- 放通端口：4369（epmd）、5672（AMQP）、15672（管理）、25672（集群分发）；
- 加入集群前在目标节点执行：rabbitmqctl stop_app → rabbitmqctl reset → rabbitmqctl join_cluster rabbit@node1 → rabbitmqctl start_app。
- 管理界面打不开或无法登录
处理要点：
- 启用插件：rabbitmq-plugins enable rabbitmq_management；
- 检查服务与端口；
- 若 guest 不可用或被删除，创建管理员并赋权：
- rabbitmqctl add_user admin StrongPass!
- rabbitmqctl set_user_tags admin administrator
- rabbitmqctl set_permissions -p / admin “." ".” “.*”
- 网络分区（脑裂）
识别：日志出现 “Network partition detected”，cluster_status 中 partitions 非空。
处理策略：
- 生产建议配置 cluster_partition_handling = pause_minority（少数派节点自动暂停，避免数据不一致）；
- 测试/可快速恢复场景可用 autoheal（自动愈合，可能丢数据）；
- 临时恢复：在各分区节点上按顺序执行 rabbitmqctl stop_app → rabbitmqctl start_app，再核查数据一致性与业务影响。
- 元数据不一致或“corrupt_or_missing_cluster_files”
现象：启动报 “inconsistent_cluster” 或 “corrupt_or_missing_cluster_files”。
处理要点：
- 在异常节点执行 rabbitmqctl reset 清理本地 Mnesia 状态，然后重新加入集群；
- 如仍异常，备份后清理 /var/lib/rabbitmq/mnesia/ 再尝试（谨慎，仅在确认无业务影响时）。
- 资源告警导致拒绝写入
识别：日志出现 disk alarm 或内存水线触发。
处理要点：
- 扩容磁盘/清理无用数据；
- 动态或静态下调水位：
- rabbitmqctl set_vm_memory_high_watermark 0.6
- 配置：vm_memory_high_watermark.relative = 0.7；disk_free_limit.absolute = 50MB（按环境调整）。
三 日志与监控要点
- 日志位置与内容：
- 核心日志：/var/log/rabbitmq/rabbit@.log（启动、集群、错误等）；
- SASL 日志：/var/log/rabbitmq/rabbit@-sasl.log（认证、权限、Erlang 运行时）。
- 排查技巧：tail -f 实时观察，结合关键字（error/cluster/partition/auth）定位时间点与模块。
- 关键监控指标（建议接入 Prometheus + Grafana 或使用 Management UI）：
- 集群：节点 running_nodes、partitions；
- 队列：Ready、Unacked、消息速率（入队/出队）、队列长度；
- 连接：当前 Connections/Channels、异常关闭速率；
- 资源：节点 内存使用率、磁盘剩余空间、CPU 使用率。
- 指标暴露：启用 rabbitmq_prometheus 插件，抓取 :15692/metrics，关注 rabbitmq_queue_messages、rabbitmq_node_mem_used、rabbitmq_node_disk_free 等。
四 最小可用配置与加固建议
- 基础配置 /etc/rabbitmq/rabbitmq.conf（示例）：
- listeners.tcp.default = 5672
- management.tcp.port = 15672
- vm_memory_high_watermark.relative = 0.7
- disk_free_limit.absolute = 50MB
- cluster_partition_handling = pause_minority
- 高可用策略：通过策略为关键队列开启镜像（示例）：
- rabbitmqctl set_policy ha-all “^ha\.” ‘{“ha-mode”:“all”,“ha-sync-mode”:“automatic”}’
- 安全加固：
- 禁用或限制 guest 远程登录，创建分权用户与 vhost；
- 管控面与业务面网络分离，仅放通必要端口；
- Cookie 文件权限 400，仅 rabbitmq 用户可读。
五 排障命令清单（可直接复制执行）
- 查看服务与插件：systemctl status rabbitmq-server；rabbitmq-plugins list
- 集群健康：rabbitmqctl cluster_status；rabbitmqctl status
- 资源水位：rabbitmqctl status（内存/磁盘）；必要时 rabbitmqctl set_vm_memory_high_watermark 0.6
- 认证与权限：rabbitmqctl list_users；rabbitmqctl set_user_tags；rabbitmqctl set_permissions
- 日志跟踪：tail -f /var/log/rabbitmq/rabbit@$(hostname).log | egrep -i ‘error|cluster|partition|auth’
- 端口连通：ss -lntp | egrep ‘:(5672|15672|4369|25672)’；nc -vz <peer_ip> 4369
- 加入集群模板：rabbitmqctl stop_app → rabbitmqctl reset → rabbitmqctl join_cluster rabbit@ → rabbitmqctl start_app
如需，我可以基于你的节点列表与配置文件，输出一份逐节点的“检查-修复”命令清单并给出回滚方案。
