centos backlog如何进行故障排查

CentOS backlog 故障排查与优化指南

一、先明确 backlog 的两种含义

• 网络 TCP 的 backlog：包含两次握手的两个队列。半连接队列（SYN queue）长度受 net.ipv4.tcp_max_syn_backlog 与 net.core.somaxconn 共同约束；全连接队列（accept queue）长度为 min(应用 listen(backlog), net.core.somaxconn)。队列满时的行为由 net.ipv4.tcp_abort_on_overflow 决定（0 丢 ACK 重试，1 回 RST）。
• 内核审计 auditd 的 backlog：指内核审计缓冲队列。当审计事件产生过快、应用来不及写入日志时，会出现 “audit: backlog limit exceeded”，严重时可导致系统卡死或 SSH 无响应。
  以上概念与参数关系、队列溢出表现及应对思路，可参考内核与实战资料。

二、快速定位步骤

• 网络方向
  1. 看监听队列是否堆积：ss -lnt | egrep ‘(:80|:443|:9000)’; 关注 Recv‑Q（接近或等于 Send‑Q 表示队列满）。
  2. 查内核统计是否溢出：netstat -s | egrep ‘listen queue|socket drop|SYNs to LISTEN’; 若 “times the listen queue of a socket overflowed” 或 “SYNs to LISTEN sockets dropped” 增长明显，说明全连接或半连接队列存在溢出。
  3. 抓包确认握手是否完成：tcpdump -ni any ‘tcp port 80 and (tcp[13] & 0x12)=0x12’；若见大量 SYN 但少 ACK，多为半连接队列或应用 accept 过慢。
  4. 检查关键参数：sysctl net.core.somaxconn、net.ipv4.tcp_max_syn_backlog、net.ipv4.tcp_abort_on_overflow；必要时临时调大验证。
  5. 端到端验证：用 hping3 发起短时高并发 SYN 压测（如 hping3 --tcp -p 80 -c 1000 --flood 目标IP），观察溢出计数是否激增。
• 审计方向
  1. 检查审计服务与缓冲：service auditd status；auditctl -s（看 backlog_limit、lost 等）。
  2. 查内核日志：dmesg | grep -i audit；若出现 “audit: backlog limit exceeded”，说明审计缓冲不足。
     以上命令与判定要点可快速确认是网络队列问题还是 audit 缓冲问题。

三、常见现象与对应处理

四、参数调整与验证示例

• 网络队列
  • 查看与临时调整：
    sysctl net.core.somaxconn
    sysctl -w net.core.somaxconn=4096
    sysctl -w net.ipv4.tcp_max_syn_backlog=4096
    sysctl -w net.ipv4.tcp_abort_on_overflow=0
  • 永久生效：/etc/sysctl.conf 中加入
    net.core.somaxconn=4096
    net.ipv4.tcp_max_syn_backlog=4096
    执行 sysctl -p 使配置生效。
  • 应用层配合：确保服务 listen(backlog) ≥ 期望队列；如 Nginx 的 listen … backlog=…；PHP‑FPM 的 listen.backlog=…。队列实际生效值取 min(应用 backlog, somaxconn)。
• 审计队列
  • 临时放大缓冲：auditctl -b 8192（或更高，注意内存占用）。
  • 持久化：编辑 /etc/audit/audit.rules，在合适位置加入 “-b 8192”；重启 auditd 生效。
  • 收敛规则：删除不必要审计规则，降低事件速率，避免再次溢出。
    上述调整与生效方式、参数含义与生效范围，可参考系统调优与实战文档。

五、容量规划与注意事项

• 队列上限认知：全连接队列长度并非无限，受 listen(backlog) 与 net.core.somaxconn 共同约束；半连接队列受 tcp_max_syn_backlog 与 somaxconn 等共同影响，且不同内核版本存在细节差异（如半连接队列长度可能按 2 的幂向上取整）。
• 资源与副作用：盲目增大 somaxconn/backlog 会提升内存占用与调度延迟；调大 auditd backlog 同样增加内核内存压力。应结合业务并发、实例规格与观测数据逐步调优。
• 安全与可用性：面对 SYN 洪泛，优先开启 syncookies 等机制，再配合队列与速率限制策略，避免仅依赖调大队列掩盖问题。
  以上容量与风险提示，有助于在安全前提下获得稳定的队列表现。