Ubuntu JS日志中如何检测异常流量

Ubuntu环境下基于JS日志的异常流量检测

一日志采集与结构化

在 Node.js 中输出结构化日志，便于后续统计与告警。示例（使用 Winston，日志写入文件便于集中分析）：

安装：npm install winston

配置：

const winston = require('winston');
const logger = winston.createLogger({
  level: 'info',
  format: winston.format.json(),
  transports: [
    new winston.transports.File({ filename: 'error.log', level: 'error' }),
    new winston.transports.File({ filename: 'combined.log' })
  ]
});
// 请求日志示例（在中间件中）
app.use((req, res, next) => {
  logger.info('http_request', {
    ts: new Date().toISOString(),
    ip: req.ip,
    method: req.method,
    url: req.url,
    ua: req.headers['user-agent'],
    status: res.statusCode,
    rt: Date.now() - req.startTime
  });
  next();
});

若使用 PM2 部署，可直接用 pm2 logs <app> 实时查看与采集；如需集中化，可将日志接入 ELK（Elasticsearch/Logstash/Kibana） 或 Graylog 等平台进行检索与可视化。

二命令行快速检测

实时查看新增日志：tail -f /path/to/combined.log
关键字快速筛选：tail -f /path/to/combined.log | grep 'error'
统计每分钟请求量（按日志行计数，适用于 JSON 每行一条请求的场景）：
- tail -n 10000 /path/to/combined.log | jq -r '.["ts"]' | cut -d'T' -f2 | cut -d'.' -f1 | sort | uniq -c
Top N 来源 IP：tail -n 50000 /path/to/combined.log | jq -r '.["ip"]' | sort | uniq -c | sort -nr | head -20
高频异常路径：tail -n 50000 /path/to/combined.log | jq -r '.["url"]' | sort | uniq -c | sort -nr | head -20
5xx 比例（示例）：tail -n 10000 /path/to/combined.log | jq 'select(.["status"] >= 500)' | wc -l 与总量对比计算比例
说明：上述命令假设日志为 JSON 行格式；如使用文本格式，可用 awk/grep/sed 按字段位置解析。若日志量大，建议先采样或接入 Logstash/Fluentd 做预处理。

三模式与阈值示例

异常流量常见信号与处置要点（示例阈值可按业务调整）：

异常信号	日志侧特征	建议阈值示例	处置要点
流量突发	单位时间请求数骤增	1 分钟请求数 > 基线 3σ 或 > 1000 req/min	触发限流/封禁，联动告警
单 IP 高频	同一 IP 短时间大量请求	1 分钟 > 100 req/min 或 10 分钟 > 500 req	自动封禁该 IP，观察是否回落
异常路径扫爆	少数路径命中异常高	某路径占比 > 70% 且总量异常	临时禁用路由或返回 429
错误率飙升	5xx/4xx 比例异常	5xx > 5% 或 4xx+5xx > 10%	回滚版本/限流/扩容
响应时间异常	P95/P99 明显上升	P95 > 2s 或较基线翻倍	降级非核心功能、排查慢查询
地理异常	突发来自异常地区	某地区请求占比突增	结合风控策略限制或二次校验

这些信号可通过日志聚合后在 Kibana/Grafana 设置阈值告警，或写入 Prometheus 做指标化监控与动态阈值。

四实时告警与防护联动

日志到告警链路：
- 采集与解析：Filebeat/Logstash 读取日志，按 JSON 解析字段（如 ip、method、url、status、ts）。
- 检测与告警：在 Elasticsearch Watcher、Kibana Alerting 或 Grafana Alert 中配置规则（如 1 分钟请求数阈值、Top IP 阈值、5xx 比例阈值），触发后通过 Webhook/邮件/企业微信/钉钉 通知。
- 处置动作：联动 iptables/fail2ban 封禁恶意 IP，或在 Nginx/应用层 返回 429/403；Node.js 侧可结合 express-rate-limit 做二次限流，缓解突发流量冲击。

最新问答

相关标签