提高Ubuntu Tomcat稳定性的策略

Ubuntu Tomcat稳定性提升策略

一 运行环境与资源治理

• 以系统服务方式运行（推荐 systemd），设置自动重启与内存/CPU限制，避免异常进程堆积；为服务配置专用用户与最小权限，分离日志与二进制目录，便于审计与回滚。
• 提升文件描述符与进程数上限：在 /etc/security/limits.conf 增加如 * soft nofile 65535、* hard nofile 65535，并在 systemd 服务单元中设置 LimitNOFILE=65535，防止“Too many open files”。
• 优化网络与内核参数（/etc/sysctl.conf 或 sysctl -w）：如 net.core.somaxconn=4096、net.ipv4.tcp_max_syn_backlog=4096、net.ipv4.tcp_tw_reuse=1、net.ipv4.tcp_fin_timeout=60，提升高并发下的连接处理能力并降低握手与回收时延。
• 启用熵源优化：安装并启动 rng-tools，或在 $JAVA_HOME/jre/lib/security/java.security 中将 securerandom.source 调整为 /dev/./urandom，缓解应用启动或首次请求因熵不足导致的长时间阻塞。

二 JVM与连接器调优

• 合理设置堆与元空间：将 -Xms 与 -Xmx 设为相同值（如各为物理内存的1/2，视负载与容器而定），避免运行期扩缩堆带来的抖动；设置 -XX:MaxMetaspaceSize=… 防止元空间无限增长；启用服务器模式 -server。
• 选择低停顿的垃圾回收器：优先 G1GC（-XX:+UseG1GC），并开启 GC日志 与时间戳用于长期观测与容量规划：-XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/opt/tomcat/logs/gc.log。
• 优化连接器与线程模型：使用 NIO/NIO2 或 HTTP/2 提升吞吐；按硬件与压测结果配置 maxThreads、minSpareThreads、acceptCount；关闭DNS反查（enableLookups=false）；启用GZIP压缩减少传输体积；设置合理 connectionTimeout 与 maxKeepAliveRequests 以平衡连接复用与资源占用。

三 日志治理与可观测性

• 控制日志级别与输出路径：在 conf/logging.properties 将多数组件调至 WARNING/ERROR，减少同步日志开销；必要时采用异步日志（Tomcat 8+ 使用 org.apache.juli.AsyncFileHandler）降低线程阻塞。
• 启用并管理访问日志：在 conf/server.xml 配置 AccessLogValve，开启 rotatable 与 maxDays，避免单文件过大与磁盘被占满。
• 实施日志轮转与压缩：使用 logrotate 管理 catalina.out 与各类日志（按日/按大小轮转、压缩、保留策略），并在轮转后通知 Tomcat 重新打开日志句柄（如 kill -USR1 或 systemd 的 reload）。
• 构建集中化观测：将 catalina.out、localhost_access_log、gc.log 接入 ELK/Graylog，对 ERROR/OutOfMemoryError/Full GC 等设定告警；定期分析 GC日志 与访问日志的慢请求与错误码分布，指导容量与代码优化。

四 应用与架构层面稳定性

• 连接与线程治理：在应用中使用数据库连接池（如 HikariCP/DBCP2），设置合理的最大连接、超时与验证查询；对长耗时任务采用 Servlet 3.0 异步或消息队列解耦，避免阻塞 Tomcat 工作线程。
• 静态资源与反向代理：将静态资源交由 Nginx/Apache HTTPD 或 CDN 处理；通过反向代理设置合理的 proxy_connect_timeout、proxy_read_timeout，并在代理层开启压缩与缓存，降低后端波动影响。
• 数据库与缓存：优化索引与SQL（只查必要列、合理使用覆盖索引、避免 SELECT *），利用连接池与超时/重试策略，必要时引入本地缓存减少热点穿透。
• 变更与容量：遵循灰度/蓝绿发布与回滚预案，在预发环境充分压测；基于监控指标（线程池使用率、队列长度、错误率、P95/P99 时延、Full GC 次数）进行容量规划与参数迭代。

五 快速检查清单与示例配置

• 快速检查清单
  • 服务与资源：systemd 重启策略生效、运行用户最小权限、ulimit -n ≥ 65535、/etc/sysctl.conf 网络参数已加载。
  • JVM：-Xms == -Xmx、启用 G1GC、开启 GC日志、设置 MaxMetaspaceSize。
  • 连接器：NIO/NIO2 或 HTTP/2、合理的 maxThreads/acceptCount、enableLookups=false、启用 GZIP、合理 connectionTimeout。
  • 日志：AccessLogValve 轮转与保留、logging.properties 级别与异步、logrotate 策略与通知、集中化观测与告警已配置。
  • 应用：连接池与超时、异步化长任务、静态资源剥离、SQL 与索引优化、灰度与回滚预案完备。
• 示例配置片段
  • server.xml（连接器要点）

    <Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443"
               maxThreads="200" minSpareThreads="25" acceptCount="100"
               maxKeepAliveRequests="100"
               enableLookups="false"
               compression="on" compressionMinSize="2048"
               compressableMimeType="text/html,text/xml,text/plain,application/json" />
    

  • logging.properties（异步与级别）

    handlers = 1catalina.org.apache.juli.AsyncFileHandler, \
               2localhost.org.apache.juli.AsyncFileHandler, \
               java.util.logging.ConsoleHandler
    
    .level = INFO
    org.apache.catalina.level = WARNING
    java.util.logging.ConsoleHandler.level = WARNING
    

  • JVM_OPTS（示例）

    export JAVA_OPTS=" \
      -server \
      -Xms2g -Xmx2g \
      -XX:+UseG1GC \
      -XX:MaxMetaspaceSize=512m \
      -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/opt/tomcat/logs/gc.log"
    

  • logrotate（/etc/logrotate.d/tomcat，按日轮转与压缩）

    /opt/tomcat/logs/catalina.out {
      daily
      rotate 7
      compress
      missingok
      notifempty
      create 640 tomcat tomcat
      postrotate
        /bin/kill -USR1 $(cat /opt/tomcat/temp/tomcat.pid 2>/dev/null) 2>/dev/null || true
      endscript
    }