Linux dropped技术探讨

Linux dropped 技术探讨

一 概念与分层定位

• 在 Linux 网络栈中，dropped 表示数据包在接收路径上被内核或驱动“有意丢弃”，不等同于物理层错误。常见计数含义：
  • RX errors：总错误数（如 CRC、frame、过长帧等）。
  • RX dropped：已进入网卡 Ring Buffer，但在拷贝到内核内存/协议栈过程中因资源不足被丢弃（常见于内存紧张、处理不及时）。
  • RX overruns/fifo：网卡 Ring Buffer 溢出，通常因驱动/CPU 来不及消费导致（在 /proc/net/dev 的 fifo 字段增长，在 ifconfig 中体现为 overruns 增长）。
• 接收路径简述：网卡 DMA 写入 Ring Buffer → 触发硬中断 → 驱动启动 NAPI/软中断 → 内核将包放入 socket buffer → 应用读取。任一环节处理不及都会表现为 dropped/overruns 增长。

二 快速定位流程

• 第一步 接口层总览
  • 查看接口统计：cat /proc/net/dev 与 ifconfig，关注 RX dropped、RX errors、fifo/overruns 的增长趋势，先判断是“拷贝阶段丢包”还是“硬件/驱动阶段丢包”。
• 第二步 硬件与驱动
  • 查看 Ring Buffer 与是否溢出：ethtool -S <iface> | grep rx_fifo，cat /proc/net/dev 的 fifo 字段；必要时用 ethtool -g <iface> 查看/调整 Ring Buffer 大小，用 ethtool -G <iface> rx 4096 增大接收环。
  • 检查协商与物理层：ethtool <iface> 看 Speed/Duplex/Autoneg；异常时 ethtool -r <iface> 重协商，必要时 ethtool -s <iface> speed 1000 duplex full autoneg off 强制设置；同时排查 CRC errors、length_errors 等物理层计数。
• 第三步 内核网络栈队列
  • 软中断与 backlog 队列：cat /proc/net/softnet_stat 观察每核第二列（backlog 溢出丢弃）；若增长，提高 net.core.netdev_max_backlog（如 2000）。
  • 软中断预算：sysctl -w net.core.netdev_budget=600（默认 300）以允许软中断处理更多包；若单核 softirq 占用过高，结合中断亲和与 RSS 队列分散负载：mpstat -P ALL 1、ethtool -x/-X <iface>。
• 第四步 协议栈与策略
  • 连接队列：半连接队列（net.ipv4.tcp_max_syn_backlog）、全连接队列（somaxconn 与 listen(backlog)）。netstat -s | grep -i listen 或 dmesg | grep "TCP: drop open request" 发现 SYN 丢弃；netstat -ant | grep SYN_RECV | wc -l 观察半连接堆积。
  • 反向路径与 martian：cat /proc/sys/net/ipv4/conf/<iface>/rp_filter，必要时 sysctl -w net.ipv4.conf.all.log_martians=1 记录异常源。
  • 防火墙/策略：iptables-save | grep -i drop、iptables -L INPUT -nv 观察命中计数是否增长。
  • 连接跟踪：dmesg | grep conntrack 检查 conntrack 表溢出迹象。

三 常见根因与对策

四 参数与工具清单

• 关键内核参数（按需调整，建议逐步变更并压测验证）
  • 接收缓冲与队列：net.core.rmem_max/rmem_default、net.core.wmem_max/wmem_default、net.core.netdev_max_backlog、net.core.netdev_budget
  • TCP 队列与特性：net.ipv4.tcp_max_syn_backlog、net.core.somaxconn、net.ipv4.tcp_tw_reuse、net.ipv4.tcp_tw_recycle（NAT 场景禁用）、net.ipv4.tcp_max_tw_buckets
  • 策略与校验：net.ipv4.conf.all.rp_filter、net.ipv4.conf.all.log_martians、net.netfilter.nf_conntrack_max
• 常用工具与命令
  • 统计与队列：cat /proc/net/dev、ifconfig、ethtool -S <iface>、ethtool -g/-G <iface>、cat /proc/net/softnet_stat
  • 策略与连接：iptables-save、iptables -L -nv、netstat -s、netstat -ant | grep SYN_RECV、dmesg | grep conntrack
  • 抓包与内核追踪：tcpdump -i <iface> ...、dropwatch、bpftrace

五 实践建议

• 先定位后优化：以指标（如 fifo、dropped、SYN_RECV）为准，确认“哪一环”在丢包，再决定是调 Ring Buffer、backlog、队列还是应用/策略。
• 变更可控：一次只调整少量参数，变更前后保留基线数据（如 sar -n DEV 1 60、/proc/net/dev 快照），并回滚异常变更。
• 面向场景：短连接高并发侧重队列与 conntrack；大流量长连接侧重 Ring Buffer、软中断与 RSS 亲和；跨 NAT 场景避免 tcp_tw_recycle。
• 端到端视角：同时核查对端设备（交换机/路由器）端口、速率/双工、流控与 MTU，避免“一端优化、另一端瓶颈”。