CentOS 上 RabbitMQ 内存不足的排查与处理
一 快速判断与定位
- 查看节点是否触发内存告警与当前使用量：
- rabbitmqctl status | egrep “memory|high_watermark|alarms”
- 若输出 alarms 包含 memory_limit，说明已触发内存保护（流控/阻塞）。同时关注 memory 段的总量与各项占用。
- 找出占用内存最多的队列（定位消息堆积）：
- rabbitmqctl list_queues name messages memory | sort -k3 -nr | head -10
- 查看告警清除日志，确认是否因内存回落而恢复：
- grep -i “memory resource limit alarm cleared” /var/log/rabbitmq/rabbit@*.log
二 立即缓解
- 释放内存占用
- 清理/归档无用队列：rabbitmqctl purge_queue <queue_name>；必要时删除空队列：rabbitmqctl delete_queue <queue_name>；重启占用内存最大的消费者以释放连接相关内存。
- 临时提高内存水位线（治标）
- 动态提升相对阈值：rabbitmqctl set_vm_memory_high_watermark 0.6
- 或设置绝对上限：rabbitmqctl set_vm_memory_high_watermark absolute 2GB
- 说明：CLI 调整重启后会失效；默认阈值为相对 0.4（可用内存的 40%），超过即触发保护（流控/阻塞）。
- 加速换页到磁盘，降低内存压力
- 调高分页触发比例（默认 0.5）：例如 rabbitmqctl set_vm_memory_high_watermark_paging_ratio 0.7
- 含义：在达到水位线前更早把消息刷盘，缓解内存峰值（持久化消息本就落盘，非持久化也会被刷盘）。
- 同步检查磁盘，避免“磁盘告警”叠加触发
- 查看/调整磁盘下限：rabbitmqctl set_disk_free_limit 2GB（或 disk_free_limit.absolute = 2GB）
- 相对内存阈值：rabbitmqctl set_disk_free_limit memory_limit 1.5（当可用磁盘低于“内存上限×1.5”时阻塞生产者）。默认磁盘下限为约 50MB。
三 持久化配置 CentOS 路径与示例
- 配置文件路径与生效方式
- 新版（3.8+）常用：/etc/rabbitmq/rabbitmq.conf（若目录或文件不存在需创建；修改后需重启）。
- 旧版经典配置：/etc/rabbitmq/rabbitmq.config（Erlang 元组格式；修改后需重启）。
- 动态设置（CLI）适合应急，持久化请写入配置文件并重启。
- 示例配置（按需二选一或组合）
- 使用相对水位线（例如 60%）
- vm_memory_high_watermark.relative = 0.6
- vm_memory_high_watermark_paging_ratio = 0.7
- 使用绝对水位线（例如 4GB）
- vm_memory_high_watermark.absolute = 4GB
- 磁盘下限（例如 2GB）
- disk_free_limit.absolute = 2GB
- 旧版 config 示例（rabbitmq.config）
- [
{rabbit, [
{vm_memory_high_watermark, {absolute, “2G”}},
{disk_free_limit, “20G”}
]}
].
- 重启服务
- systemctl restart rabbitmq-server。
四 根因治理与预防
- 控制消息堆积与处理时延
- 平衡生产者/消费者速率；增加消费者并发与处理能力；必要时对大流量队列做拆分/分流。
- 设置消息生命周期与异常兜底
- 为队列设置 x-message-ttl（消息过期自动清理）。
- 配置 死信队列（DLX），将无法处理的消息转入 DLQ 便于后续分析与重放。
- 建立监控与容量规划
- 启用 Prometheus 监控插件：prometheus.tcp.port = 15692，监控指标如 rabbitmq_memory_used、rabbitmq_disk_free、rabbitmq_connections_total，并配置多级告警（如内存使用率接近水位线提前预警）。
- 连接与系统资源
- 合理设置最大连接数与超时（如 max_connections、connection_timeout），并使用连接池与连接复用，避免连接风暴。
