CentOS 上 RabbitMQ 故障恢复实操手册
一、快速恢复流程
- 服务恢复
- 使用 systemd 重启并观察状态：sudo systemctl restart rabbitmq-server；sudo systemctl status rabbitmq-server。
- 若 systemd 失败，使用 CLI 方式：sudo rabbitmqctl stop_app；sudo rabbitmq-server -detached；随后 sudo rabbitmqctl status 验证。
- 日志与端口
- 查看服务日志：sudo journalctl -u rabbitmq-server -n 50 --no-pager；实时跟踪：tail -f /var/log/rabbitmq/rabbit@.log。
- 检查关键端口：AMQP 5672、管理插件 15672 是否被占用或被防火墙拦截：ss -ltnp | grep -E ‘5672|15672’；firewall-cmd --list-ports。
- 常见快速修复
- 主机名解析异常：编辑 /etc/hosts，确保本机 IP 与 hostname 正确映射（如 127.0.0.1 与主机名对应）。
- 端口冲突：释放占用进程或调整端口后重启。
- 管理插件未启用：sudo rabbitmq-plugins enable rabbitmq_management，便于通过 http://:15672 巡检。
二、常见故障定位与修复
- rabbitmqctl 报错无法连接节点
- 典型原因：目标节点未运行、主机名解析失败、TCP/防火墙阻断、CLI 与服务器 Erlang Cookie 不一致。
- 处理要点：确认服务已启动（systemctl/rabbitmqctl status）、核对 /etc/hosts 与 hostname、放行 4369/epmd、5672、15672 等端口、统一 .erlang.cookie（RPM 安装常见路径为 /var/lib/rabbitmq/.erlang.cookie，权限建议 400）。
- 启动失败或 Job for rabbitmq-server.service failed
- 优先查看：journalctl -xe 与 /var/log/rabbitmq/ 下的启动日志；常见根因包括主机名映射错误、配置语法错误、端口占用、依赖/权限问题。
- 修复动作：修正 /etc/hosts 主机名记录、关闭占用端口的进程、校验配置文件语法、修正数据目录权限（chown -R rabbitmq:rabbitmq /var/lib/rabbitmq /etc/rabbitmq）。
- 集群节点失联或脑裂
- 检查网络与防火墙、核对节点间 Cookie 一致、查看集群状态：rabbitmqctl cluster_status；若发生分区，按策略（autoheal/ignore 等）恢复并优先保证多数派节点在线。
三、数据恢复与迁移
- 元数据备份与还原（用户、vhost、队列、交换器、绑定）
- 方式一：使用 rabbitmqadmin 导出/导入 JSON：rabbitmqadmin export backup.json；rabbitmqadmin import backup.json（适合跨版本/跨实例迁移）。
- 方式二：管理控制台（http://:15672）导出/导入定义文件，便于快速恢复对象定义。
- 消息数据备份与还原（Mnesia 与消息存储）
- 定位数据目录：rabbitmqctl eval ‘rabbit_mnesia:dir()’（常见为 /var/lib/rabbitmq/mnesia/rabbit@）。
- 备份：停服务（sudo systemctl stop rabbitmq-server），打包数据目录并保留权限；还原：将备份解压至目标相同路径，修正属主为 rabbitmq:rabbitmq 后启动服务并校验。
- 版本与节点名注意事项
- 3.7.0 之前消息存储在 queues、msg_store_persistent、msg_store_transient 等目录；迁移需先恢复元数据，再拷贝这些目录到目标节点的 mnesia 下并校正权限后启动。
- 若节点名变更，需先执行：rabbitmqctl rename_cluster_node ，再以备份目录与匹配节点名启动，以完成必要的升级步骤。
四、可靠性加固与预防
- 消息可靠性
- 生产者开启 Publisher Confirms；队列声明 durable=true；消息设置 delivery_mode=2；消费者正确处理 ack/nack；失败消息进入 死信队列（DLQ） 以便重试与审计。
- 队列类型与高可用
- 新业务优先使用 Quorum 队列（x-queue-type: quorum），基于 Raft 提供更强一致性与可恢复性；存量或兼容需求可用 镜像队列，如：rabbitmqctl set_policy ha-all “myQueue” ‘{“ha-mode”:“all”,“ha-sync-mode”:“automatic”}’。
- 运行期健康与容量
- 监控内存/磁盘告警并合理设置阈值：rabbitmqctl set_vm_memory_high_watermark 0.4；rabbitmqctl set_disk_free_limit 500MB；同时保障磁盘空间与日志滚动策略，避免因资源压力导致写入失败或数据不可用。
