在 Debian 上提升 Node.js 高并发能力的核心思路
- 利用 事件驱动 + 非阻塞 I/O 处理海量连接，避免同步阻塞。
- 通过 多进程集群 充分利用多核 CPU，结合 反向代理/负载均衡 分摊流量。
- 借助 缓存（Redis/Memcached） 与 消息队列（RabbitMQ/Kafka） 削峰填谷，减轻后端压力。
- 对 数据库 进行索引、连接池与必要时的分片优化，减少长事务阻塞。
- 启用 监控与调优（如 Prometheus/Grafana、New Relic），持续观测并优化瓶颈。
系统与网络层调优
- 文件描述符限制
- 查看与临时提升：ulimit -n；永久生效编辑 /etc/security/limits.conf：
- 示例：* soft nofile 65535；* hard nofile 65535
- TCP 与内核网络参数（写入 /etc/sysctl.conf 或 /etc/sysctl.d/99-tuning.conf，执行 sysctl -p）
- 关键项与作用：
- net.core.somaxconn：增大监听队列，缓解高并发排队
- net.ipv4.ip_local_port_range：扩大可用端口范围，减少端口耗尽
- net.ipv4.tcp_tw_reuse：复用 TIME_WAIT 连接，降低握手开销
- net.ipv4.tcp_fin_timeout：缩短 TIME_WAIT 回收时间
- net.ipv4.tcp_max_syn_backlog：提升半连接队列，抵御突发握手
- net.core.netdev_max_backlog / rmem_max / wmem_max：提升网卡与套接字缓冲
- 连接状态观测：ss -s、netstat -tan | awk ‘{print $6}’ | sort | uniq -c
- 说明：上述调优同样适用于 Debian 场景，能显著改善高并发下的连接与端口压力。
Node.js 运行时与进程架构
- 多进程集群
- 使用 cluster 模块按 CPU 核心数 创建工作进程，主进程负责分发与重启：
- 示例：const numCPUs = require(‘os’).cpus().length; 循环 fork()；worker 内启动 HTTP 服务监听同一端口
- 进程管理
- 使用 PM2 管理进程、零停机重启、负载均衡与监控：
- 启动：pm2 start app.js -i max（按核心数启动多实例）
- 计算密集型任务
- 使用 worker_threads 将 CPU 密集任务移出事件循环，避免阻塞主线程
- 异步编程与框架
- 全程使用 异步 I/O（Promise/async-await），减少阻塞；选择高性能框架（如 Fastify/Express/Koa）。
反向代理与上游连接优化（Nginx）
- 基本反向代理
- 将请求分发到多个 Node.js 实例，实现横向扩展与故障隔离
- 上游长连接与 HTTP 协议
- 开启 keepalive 复用上游连接，减少频繁建连开销
- 使用 HTTP/1.1 并清理 Connection 头，提升连接利用率
- 负载均衡示例
- upstream backend_nodejs { server 127.0.0.1:3000; server 127.0.0.1:3001; server 127.0.0.1:3002; }
- proxy_pass http://backend_nodejs;
- 作用：Nginx 作为事件驱动的反向代理，能与 Node.js 协同突破 C10K 瓶颈，并在高负载下保持稳定。
缓存、数据库与监控实践
- 缓存策略
- 使用 Redis/Memcached 缓存热点数据；设置合理 TTL 与失效策略
- 启用 HTTP 缓存头（如 Cache-Control、ETag），让浏览器/CDN 分担流量
- 数据库优化
- 合理 索引、连接池、批量/事务优化；必要时 读写分离/分片
- 异步与削峰
- 将耗时任务放入 消息队列（如 RabbitMQ/Kafka），实现异步处理与解耦
- 静态资源与 CDN
- 监控与可观测性
- 使用 Prometheus + Grafana 采集指标（如请求时延、错误率、事件循环延迟）
- 接入 New Relic 等 APM 定位慢事务与异常堆栈。
