Debian Tomcat日志中的请求统计

Debian Tomcat日志请求统计方法

一、基础命令行统计（快速上手）

Debian系统中，Tomcat的访问日志默认位于/usr/local/tomcat/logs/（或/opt/tomcat/logs/、/var/log/tomcatX/，X为版本号），常见文件名为localhost_access_log.YYYY-MM-DD.txt（按日期分割）或catalina.out（综合日志）。以下是常用命令：

• 统计总访问次数：通过计算日志行数获取总请求数（每行代表一次请求）。

  cat /usr/local/tomcat/logs/localhost_access_log | wc -l
  

• 统计各IP访问频次：提取日志首列（IP地址），排序并去重统计。

  cat /usr/local/tomcat/logs/localhost_access_log | awk '{print $1}' | sort | uniq -c | sort -nr
  

• 统计HTTP状态码分布：提取日志第8列（状态码，如200、404、500），统计各状态码出现次数。

  cat /usr/local/tomcat/logs/localhost_access_log | awk '{print $8}' | sort | uniq -c | sort -nr
  

• 统计高频访问URL：提取日志第7列（请求URL），找出访问次数最多的URL（head -1限制为Top1）。

  cat /usr/local/tomcat/logs/localhost_access_log | awk '{print $7}' | sort | uniq -c | sort -nr | head -1
  

二、使用日志分析工具（高效可视化）

对于大规模日志或需要可视化的场景，推荐使用专业工具：

• GoAccess：实时Web日志分析器，支持终端和HTML报告输出，无需复杂配置。

  wget https://github.com/goaccess/goaccess/releases/download/v1.6.2/goaccess-1.6.2-linux-x86_64.tar.gz
  tar -xzf goaccess-1.6.2-linux-x86_64.tar.gz
  cd goaccess-1.6.2
  ./bin/goaccess /usr/local/tomcat/logs/localhost_access_log -a
  

  执行后会生成HTML报告，包含访问量、IP分布、URL热度等可视化数据。
• ELK Stack（Elasticsearch+Logstash+Kibana）：企业级日志分析平台，支持实时采集、存储、搜索和可视化。
  1. Logstash配置：解析Tomcat日志格式（如combined模式），将数据导入Elasticsearch。
  2. Kibana可视化：通过Dashboard展示访问趋势、地域分布、状态码占比等图表。
• Graylog：开源日志管理平台，支持集中式日志收集、搜索和报警，适合团队协作分析。

三、高级统计技巧（深度分析）

• 日志切割：避免单个日志文件过大，使用cronolog或logrotate按日期分割。 例如，修改catalina.sh脚本，添加以下内容：

  export CATALINA_OUT="/usr/local/tomcat/logs/catalina.%Y-%m-%d.out"
  

  或使用logrotate配置文件（/etc/logrotate.d/tomcat）：

  /usr/local/tomcat/logs/*.log {
      daily
      rotate 30
      compress
      missingok
      notifempty
  }
  

• 自定义Servlet Filter：通过Java代码拦截所有请求，实现精准统计（如去重用户数、请求耗时）。 示例代码：

  public class AccessFilter implements Filter {
      private AtomicInteger requestCount = new AtomicInteger(0);
      
      @Override
      public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) 
          throws IOException, ServletException {
          requestCount.incrementAndGet();
          chain.doFilter(req, res);
      }
      
      @Override
      public void destroy() {
          System.out.println("Total requests: " + requestCount.get());
      }
  }
  

  配置web.xml注册Filter，即可统计所有请求的总数。

四、注意事项

• 日志格式确认：Tomcat默认使用common格式（仅IP、时间、URL、状态码），若需更详细信息（如Referer、User-Agent），需修改server.xml中的AccessLogValve配置：

  <Valve className="org.apache.catalina.valves.AccessLogValve"
         directory="logs"
         prefix="localhost_access_log"
         suffix=".txt"
         pattern="%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i""
         resolveHosts="false"/>
  

  其中%h为IP，%r为请求行，%s为状态码，%b为响应字节数。
• 权限问题：确保分析用户对日志目录有读取权限（如chmod -R 755 /usr/local/tomcat/logs）。