如何通过Tomcat日志优化缓存策略

从日志出发的缓存策略优化

一采集与字段设计

在 server.xml 启用并定制 AccessLogValve，把影响缓存与性能的关键字段纳入日志，便于后续度量与决策：
- 建议 Pattern：
```
%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i" %D %{If-Modified-Since}i %{Cache-Control}o %{ETag}o
```
- 字段含义要点：
  - %D：请求处理时间（微秒），用于识别慢资源。
  - %{If-Modified-Since}i / %{If-None-Match}i：客户端携带的协商缓存条件。
  - %{Cache-Control}o / %{ETag}o：服务端下发的缓存控制与实体标签，决定浏览器与中间层能否缓存。
  - %s / %b：状态码与响应字节数，辅助判断是否为 304 协商命中与传输成本。
若默认访问日志未开启，可在 server.xml 添加 Valve 配置，或采用 Combined/自定义 pattern 并落盘为 localhost_access_YYYY-MM-dd.log，便于工具化分析。

二指标口径与日志分析

核心指标与计算口径（示例以空格分隔的默认 Combined 字段为例，字段位置请按实际 Pattern 调整）：

缓存命中率（协商缓存命中）：

awk 'BEGIN{total=0; hit=0} {
  total++; if($9==304 || ($9==200 && $8==0)) hit++
} END {printf "协商缓存命中率: %.2f%%\n", hit/total*100}' access.log

高频资源 TOP10（定位合并/缩小/CDN 优先对象）：

awk '{print $7}' access.log | sort | uniq -c | sort -nr | head -10

高延迟资源（定位压缩、CDN、回源链路问题）：

# 假设 %D 为第10列，阈值 500ms
awk '$10 > 500000 {print $7, $10/1000000 "s"}' access.log | sort -k2 -nr

缓存未生效清单（用于修正响应头与资源命名）：

awk '{
  url=$7; cc=$12; 
  if($9!=304 && (cc !~ /max-age/ && cc !~ /public/)) print url, cc
}' access.log | sort | uniq -c | sort -nr

工具化与可视化：
- 使用 WebLog Expert 生成访问统计报告，快速获取 Cached Requests、Most Requested Images/Pages、Errors 等，辅助确定缓存策略优先级与性能瓶颈。
- 中大型环境建议将访问日志导入 ELK（Elasticsearch+Logstash+Kibana），构建缓存命中率、响应时间 P95/P99、TOP URL 等可视化看板并设置阈值告警。

三依据日志的优化动作

浏览器与 CDN 缓存策略

对长期不变的静态资源设置强缓存，协商缓存兜底：
- 响应头建议：Cache-Control: public, max-age=31536000, immutable（一年）配合 ETag/Last-Modified。
- 资源命名：带内容哈希（如 app.a1b2c3.js），变更即换新名，避免强缓存失效问题。

在 Tomcat 启用 ExpiresFilter（对未设置 Cache-Control 的资源补齐过期时间）：

<filter>
  <filter-name>ExpiresFilter</filter-name>
  <filter-class>org.apache.catalina.filters.ExpiresFilter</filter-class>
  <init-param>
    <param-name>ExpiresByType text/css</param-name>
    <param-value>access plus 1 month</param-value>
  </init-param>
  <init-param>
    <param-name>ExpiresByType application/javascript</param-name>
    <param-value>access plus 1 month</param-value>
  </init-param>
  <init-param>
    <param-name>ExpiresByType image/jpeg</param-name>
    <param-value>access plus 1 month</param-value>
  </init-param>
</filter>
<filter-mapping>
  <filter-name>ExpiresFilter</filter-name>
  <url-pattern>*.css</url-pattern>
  <url-pattern>*.js</url-pattern>
  <url-pattern>*.jpg</url-pattern>
  <url-pattern>*.png</url-pattern>
</filter-mapping>

将静态资源上 CDN，开启 CDN 缓存 与预热，对带参 URL 做动静态分离或规范化，降低回源率。

传输与内容优化

启用 GZIP 压缩（Tomcat Connector）：

<Connector port="8080" protocol="HTTP/1.1"
           compression="on"
           compressableMimeType="text/html,text/xml,text/plain,text/css,application/javascript,application/json"
           compressionMinSize="1024" />

合并与缩小（减少请求数与体积）：对日志中 TOP 高频小资源 进行打包（如 webpack/gulp），并移除无用注释与空格。

源站与应用层缓存
- 若使用 Nginx 反向代理，开启 proxy_cache 缓存动态接口的可缓存结果，结合日志中 URL 路径与返回码 配置缓存键与失效策略。
- 应用层引入 Redis/Memcached 作为数据缓存，针对日志识别的 慢查询/穿透/击穿 场景，增加缓存穿透保护（如 布隆过滤器）、热点数据永不过期与分级缓存策略。

四闭环与风险控制

建立自动化分析闭环
- 编写 Shell/Python 脚本每日解析日志，输出 总请求数、缓存命中率、TOP10 资源、P95/P99 响应时间 等指标，并通过 crontab 定时生成报告，邮件/IM 推送。
- 在 ELK 中配置看板与告警：如“缓存命中率突降 >10%”“P95 > 阈值”“5xx 错误激增”，实现问题早知道、早处置。
变更与版本控制
- 静态资源启用 内容哈希 后，配合 构建流水线 自动发布与 CDN 预热，避免用户端长时间回源取新资源。
- 调整 Cache-Control/Expires 等缓存头时，先在灰度/小流量环境验证，观察日志中的 304/200/回源 比例变化，再全量发布。

最新问答

相关标签