CentOS出现丢包的常见根因
在CentOS上出现“丢包”（ifconfig/ethtool 中的dropped、netstat -s 的 errors/drops）通常意味着数据包在从网卡硬件到内核协议栈再到应用的某个环节被丢弃。常见根因可按层次归纳如下：
- 硬件与驱动层
- Ring Buffer 溢出：突发流量或软中断处理不及时，导致网卡接收环形缓冲满，新帧被丢弃（统计常见为rx_fifo/fifo）。
- 速率/双工/自协商不一致：链路两端速率、双工或自协商不匹配，引发错包、降速或断续。
- 流控配置不当：未正确启用/关闭IEEE 802.3x Flow Control，在高负载下加剧拥塞或掩盖问题。
- 物理介质/PHY问题：线缆、光模块、端口接触不良或规格不符，出现CRC 错误、长度错误等。
- 驱动/固件缺陷：特定网卡驱动在特定报文或负载下异常，表现为内核层丢包计数增长。
- 内核与协议栈层
- 软中断/CPU处理瓶颈：NAPI/软中断处理不及时，导致内核队列积压并丢包。
- 套接字/内核缓冲区不足：应用消费慢或参数过小，出现socket buffer溢出。
- IP/路由/分片问题：MTU 不匹配、路径MTU发现失败、分片重组失败等。
- 连接跟踪/防火墙规则：nf_conntrack表满、iptables/nftables DROP规则、策略限速等。
- QoS/TC 策略：如netem模拟丢包/延迟、带宽整形配置不当。
- 虚拟化与云环境
- 虚拟网卡/后端队列瓶颈：如 virtio 队列、vhost 线程、宿主机中断/调度争用。
- 宿主机/物理交换机问题：上游端口拥塞、策略限速、物理故障。
- 应用层
- 应用读取不及时/处理慢：用户态消费速度低于内核入队速度，导致套接字层被动丢包。
快速定位步骤
- 第一步 观察接口与驱动统计
- 查看接口总体与错误：cat /proc/net/dev；关注RX-DRP/RX-OVR、错误计数。
- 查看驱动层细项：ethtool -S | egrep ‘rx_fifo|rx_errors|crc_errors|length_errors|rx_missed_errors’；ethtool -i 确认驱动/固件。
- 检查 Ring Buffer：ethtool -g ；必要时适当增大（ethtool -G）。
- 检查协商与流控：ethtool ；ethtool -a ；必要时重新自协商或固定速率/双工。
- 第二步 检查内核与策略层
- 传输/IP 层汇总：netstat -s；关注segments retransmited、packet reassembles failed、fragments dropped等。
- 连接跟踪与防火墙：sysctl net.netfilter.nf_conntrack_max；conntrack -L | wc -l；iptables -S/-L -n -v；排查 DROP/REJECT/限速规则。
- QoS/TC：tc qdisc show dev ；若存在 netem/ingress/egress 限速/丢包规则，先移除验证。
- 第三步 抓包与内核丢包点定位
- 端到端抓包：tcpdump -ni port <业务端口>；对比客户端/服务端视角，判断丢在发送/接收/中间。
- 定位内核丢包位置：dropwatch -l kas；start 观察 kfree_skb 热点函数，结合内核符号定位协议栈/驱动位置。
- 第四步 资源与虚拟化检查
- 资源瓶颈：top/vmstat/pidstat -u -d；确认软中断占用、CPU/内存/中断亲和与绑核策略。
- 虚拟化：检查宿主机资源、虚拟网卡队列数、vhost/中断绑定、宿主机与交换机端口状态。
典型场景与处理建议
- Ring Buffer 溢出
- 现象：ethtool -S 显示rx_fifo增长，/proc/net/dev 的RX-OVR增加。
- 处理：适度增大 RX Ring（ethtool -G rx ）；优化软中断与CPU亲和，减少突发峰值影响。
- 协商/流控/物理层异常
- 现象：ethtool 显示Speed/Duplex不一致；ethtool -S 有crc_errors/length_errors；链路间歇不稳定。
- 处理：重新自协商（ethtool -r）；必要时固定速率/双工；检查/更换线缆与光模块；按需开启/关闭Flow Control。
- MTU/分片问题
- 现象：大包失败、HTTP/TCP 建连或传输异常；netstat -s 见fragments dropped/reassembly failures。
- 处理：统一MTU=1500（或启用巨帧一致）；开启/修复Path MTU Discovery。
- 防火墙/连接跟踪/TC 规则导致丢包
- 现象：iptables/nftables 存在 DROP/限速规则；conntrack 表接近上限；tc qdisc 含 netem 丢包/延迟。
- 处理：清理无效/过严规则；调大 nf_conntrack_max 并优化超时；移除或修正 TC 策略。
- 内核/驱动/虚拟化瓶颈
- 现象：dropwatch 指向**__netif_receive_skb_core/tcp_v4_rcv**等；软中断占用高；虚拟机侧 RX drops 增长。
- 处理：升级驱动/固件与内核；优化 RPS/RFS、中断绑核；调整 virtio 队列/宿主机调度与资源。
常用命令清单
- 接口与驱动：cat /proc/net/dev；ethtool -S ；ethtool -i ；ethtool -g/-G ；ethtool ；ethtool -a
- 协议栈与策略：netstat -s；sysctl net.netfilter.nf_conntrack_max；conntrack -L | wc -l；iptables -S/-L -n -v；tc qdisc show dev
- 抓包与定位：tcpdump -ni port ；dropwatch -l kas
