Tomcat在Debian上的性能瓶颈排查

Debian上Tomcat性能瓶颈排查与定位

一 快速定位流程

• 资源先行：用top/htop、vmstat、iostat、free、df、netstat/ss观察CPU、内存、磁盘I/O、网络是否成为瓶颈；CPU长时间接近**100%**多为CPU瓶颈，I/O等待高则先查磁盘与数据库。
• 访问与错误：查看**/var/log/tomcatX/下的catalina.out**与访问日志，确认是否有异常堆栈、超时、5xx激增与慢请求分布。
• JVM健康：用jstat -gc、jstack、jmap、jconsole/VisualVM检查GC频率与时长、线程阻塞/死锁、内存泄漏迹象。
• 连接与后端：核对数据库连接池使用与泄漏、慢查询；用ss -s、netstat排查TIME_WAIT/ESTABLISHED异常；必要时做ping、traceroute、mtr定位网络延迟与丢包。
• 复现实证：用JMeter/Gatling在预发环境回放真实流量，逐步加压验证瓶颈点。
• 持续观测：开启JMX远程监控，结合Prometheus+Grafana或Zabbix做趋势与告警。
  以上步骤按“资源→日志→JVM→连接→压测→观测”的顺序推进，便于快速收敛问题范围。

二 关键日志与指标

• 日志位置与内容：catalina.out（启动、异常、标准输出），localhost.yyyy-MM-dd.log（应用日志），以及可选的AccessLogValve访问日志（请求行、状态码、字节数、时间等）。
• 访问日志分析示例：统计每分钟请求数
  grep “GET” /var/log/tomcatX/localhost.2025-12-06.log | awk ‘{print $4}’ | cut -d: -f2 | sort | uniq -c | sort -nr
• 日志级别与开销：在conf/logging.properties将级别调为INFO/WARN以减少I/O；性能分析阶段避免过细的DEBUG/TRACE。
• GC日志：在catalina.sh/catalina.bat的JAVA_OPTS中开启
  -Xloggc:/var/log/tomcatX/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps
  用GCeasy/VisualVM分析是否存在频繁Full GC或长停顿。
• 访问日志配置要点：在conf/server.xml启用AccessLogValve，并设置rotatable、fileDateFormat做按时间与大小滚动，避免磁盘被撑满。
  这些日志与指标能直接反映吞吐、错误率、慢请求、GC行为等核心健康度。

三 常见瓶颈与对应检查点

四 配置与优化要点

• 连接器与协议：优先使用NIO/NIO2；在Tomcat 8.5+启用HTTP/2以提升并发与首包速度。
• 线程与队列：通过Executor统一管理线程池，合理设置maxThreads、minSpareThreads、maxQueueSize；Connector引用该Executor。
• 超时与连接：设置connectionTimeout、maxConnections、acceptCount，避免雪崩与连接风暴。
• 压缩与头部：开启compression与合适的compressableMimeType，减少传输体积。
• DNS开销：设置enableLookups=“false”，避免同步反向解析。
• JVM调优：设置**-Xms/-Xmx与Metaspace**，选择G1GC等低停顿收集器；按需开启GC日志。
• SSL/TLS：正确配置证书链与协议，结合HTTP/2提升性能。
• 熵源优化：在**$JAVA_HOME/jre/lib/security/java.security将securerandom.source指向/dev/./urandom**，加速启动与首次请求。
• 监控接入：开启JMX，用JConsole/VisualVM或Prometheus+Grafana持续观测。
  这些优化项需结合压测与基线对比逐步验证，避免一次性大幅改动。

五 一键排查命令清单

• 资源与连接
  • top/htop、vmstat 1、iostat -x 1、free -m、df -h
  • ss -s、netstat -anp | grep :8080 | wc -l、ss -tan | awk ‘{print $1}’ | sort | uniq -c
  • ping、traceroute、mtr -rwc 10 <目标IP或域名>
• JVM与线程
  • jps、jstat -gc 1s、jstack > /tmp/tdump1.log
  • jmap -histo:live | head -n 50、jmap -dump:format=b,file=/tmp/heap.hprof （谨慎，可能STW）
• 日志与GC
  • tail -f /var/log/tomcat9/catalina.out
  • grep “GET” /var/log/tomcat9/localhost.2025-12-06.log | awk ‘{print $4}’ | cut -d: -f2 | sort | uniq -c | sort -nr
  • 分析GC日志：/var/log/tomcat9/gc.log（配合GCeasy/VisualVM）
• 压测与观测
  • JMeter/Gatling回归真实场景并逐步加压
  • 开启JMX并用JConsole/VisualVM远程连接，或接入Prometheus+Grafana
    以上命令覆盖“资源→连接→JVM→日志→压测→观测”的完整闭环，适合作为现场排障的常用清单。