CentOS 上基于 GCC 的网络程序性能优化指南
一 编译器与构建优化
- 优化级别与架构：优先使用**-O2**（稳定）或**-O3**（激进），配合**-march=native / -mtune=native针对本机 CPU 微架构生成更优指令；在 GCC ≥4.9 时可使用-flto**（链接时优化）提升跨模块内联与代码布局效果。示例：g++ -O2 -march=native -flto -o server server.cpp。并行编译可显著缩短构建时间：make -j$(nproc)。
- 谨慎启用高风险优化：如**-ffast-math**会放宽浮点一致性，可能破坏网络协议时序/校验；仅在确认无影响时使用。
- 版本与特性：CentOS 7 默认 GCC 4.8.5，建议通过 devtoolset 升级到更高版本（如 7/8/9/11）以获得更好的优化与诊断能力。
- 稳定性回归排查：个别项目在**-O2下可能触发优化路径问题，可通过逐步禁用子选项定位（如曾遇到需关闭-fgcse**恢复稳定）。
二 网络编程模型与代码层优化
- I/O 模型：优先采用非阻塞 I/O + epoll 边缘触发（ET）的事件驱动模型，减少accept/read/write等系统调用次数，提升高并发下的可扩展性与吞吐。
- 套接字与协议：按需设置TCP_NODELAY（关闭 Nagle，降低小包延迟）、TCP_CORK/TCP_NOPUSH（聚合小包，提高大消息吞吐）、开启SO_REUSEADDR/SO_REUSEPORT（快速重启与多进程/多实例负载分摊）、合理启用TCP_FASTOPEN（减少握手往返）。
- 内存与并发：使用对象池/内存池降低分配/释放开销；采用线程池/无锁队列减少锁竞争与上下文切换；关注数据局部性与缓存命中率。
三 内核与网络栈调优
- 文件描述符与队列：提升进程可打开文件数（如ulimit -n），增大net.core.somaxconn与net.ipv4.tcp_max_syn_backlog以容纳更多待处理连接；提高net.core.netdev_max_backlog避免网卡队列溢出丢包。
- 端口与 TIME_WAIT：扩大net.ipv4.ip_local_port_range，在 NAT/短连接高并发场景可开启net.ipv4.tcp_tw_reuse（注意与业务语义兼容），适度降低net.ipv4.tcp_fin_timeout与net.ipv4.tcp_max_tw_buckets以加速回收。
- 缓冲区与窗口：适度增大net.core.rmem_default/wmem_default与net.ipv4.tcp_rmem/tcp_wmem，提升带宽时延乘积（BDP）下的吞吐；注意总内存与并发连接数的平衡。
- 拥塞控制：在Linux 4.9+内核启用BBR，在长肥管道/高丢包链路上通常较cubic有更好的吞吐与时延表现。
- 网卡与特性：数据中心/高吞吐场景可开启GRO/LRO降低 CPU 中断与拷贝；低时延/交互场景可按需关闭以降低聚合带来的额外延迟。
四 监控、诊断与迭代
- 资源与热点：使用top/htop/vmstat/iostat观察 CPU、内存、I/O 与软中断；结合perf top/report定位热点函数与调用栈。
- 网络与协议：用tcpdump/Wireshark抓包分析握手、重传、窗口缩放、延迟抖动与 P99 时延。
- 内存与线程：用Valgrind/AddressSanitizer排查越界/泄漏；评估线程池队列积压与锁争用。
- 变更原则：每次仅调整一个变量（编译选项/内核参数/代码路径），以基准测试量化 P50/P95/P99 与吞吐变化，确保收益可复现。
五 一键落地示例
- 编译与运行
- 升级工具链（示例）：scl enable devtoolset-11 bash
- 构建：g++ -O2 -march=native -flto -pthread -o server server.cpp
- 运行：ulimit -n 65536；./server 0.0.0.0 8080
- 内核参数示例（/etc/sysctl.conf 或 sysctl -p）
- fs.file-max = 6815744
- net.core.somaxconn = 4096
- net.ipv4.tcp_max_syn_backlog = 4096
- net.core.netdev_max_backlog = 8096
- net.ipv4.ip_local_port_range = 1024 61000
- net.ipv4.tcp_tw_reuse = 1
- net.ipv4.tcp_fin_timeout = 30
- net.ipv4.tcp_max_tw_buckets = 5000
- net.core.rmem_default = 262144；net.core.wmem_default = 262144
- net.core.rmem_max = 2097152；net.core.wmem_max = 2097152
- net.ipv4.tcp_rmem = 4096 32768 262142；net.ipv4.tcp_wmem = 4096 32768 262142
- net.ipv4.tcp_syncookies = 1
- 可选（内核≥4.9）：net.core.default_qdisc = fq；net.ipv4.tcp_congestion_control = bbr
- 网卡特性（按需）：ethtool -K eth0 gro on（数据中心高吞吐建议开启；低时延交互可关闭）
