Node.js日志中网络请求分析技巧

一、日志记录配置

1. 选择日志库
   • 使用 morgan 记录HTTP请求详情（如方法、URL、状态码、响应时间），支持自定义格式，例如：

     app.use(morgan(':method :url :status :response-time ms - :res[content-length]'));
     

   • 使用 winston 记录结构化日志（含时间戳、请求ID等上下文），支持多传输（文件、数据库等）。
2. 统一日志格式
   • 采用JSON格式，便于解析，例如：

     {
       "timestamp": "2025-09-03T12:00:00Z",
       "method": "GET",
       "url": "/api/users",
       "status": 200,
       "responseTime": 45,
       "ip": "192.168.1.1"
     }
     

3. 存储与轮转
   • 存储到文件系统或日志服务（如ELK Stack），并设置轮转策略避免文件过大。

二、分析工具与技巧

1. 基础分析工具
   • 命令行工具：
     • grep 过滤特定请求（如错误状态码）：grep ' 404 ' access.log。
     • awk 统计响应时间：awk '{print $4}' access.log | awk -F'ms' '{sum+=$1} END {print "Average: " sum/NR "ms"}'。
   • 可视化工具：
     • ELK Stack：通过Kibana可视化请求量、响应时间趋势。
     • Splunk/Graylog：支持实时搜索、关联分析（如请求来源IP与错误日志关联）。
2. 关键指标分析
   • 请求量：按分钟/小时统计请求数，识别流量高峰。
   • 响应时间：计算平均、最大、最小响应时间，定位慢请求。
   • 错误率：统计4xx/5xx状态码比例，分析异常请求。
   • 用户行为：通过IP、User-Agent分析访问路径、设备分布。
3. 高级分析技巧
   • 关联分析：结合数据库慢查询日志，定位请求处理瓶颈。
   • 实时监控：通过Prometheus+Grafana监控请求延迟、错误率，设置告警。

三、安全与优化

• 敏感信息过滤：日志中避免记录密码、Token等敏感数据。
• 日志采样：高流量场景下按比例采样，降低存储压力。

参考来源：