Ubuntu 下使用工具辅助分析 Node.js 日志
一 工具选型与适用场景
- 命令行与系统工具
- tail -f、grep、awk、sed、less：快速查看、检索、切分与高亮日志内容，适合日常排查与临时分析。
- journalctl：当 Node.js 以 systemd 服务运行时，集中查看服务日志，支持按时间、单元、优先级等过滤。
- Logrotate：按日/大小切分与压缩日志，防止单文件过大，便于归档与保留策略管理。
- Rsyslog：将日志转发到文件、远程服务器或外部系统，统一采集与分发。
- 应用内日志库
- Winston、Pino、Bunyan：结构化与多目标输出（文件/控制台/HTTP），便于后续检索、分析与可视化；生产环境强烈建议启用 JSON 格式。
- 集中式与可视化
- ELK Stack（Elasticsearch + Logstash + Kibana）/Filebeat：收集、解析、存储与可视化大规模日志，支持复杂查询与仪表盘。
- PM2：进程守护与内置日志管理，适合快速查看多实例输出与按应用聚合。
二 快速上手流程
- 定位日志位置
- 常见路径：/var/log/nodejs/、应用根目录 logs/、或环境变量 LOG_PATH 指定位置；若使用 PM2，日志默认在 ~/.pm2/logs/。
- 实时查看与关键字检索
- 实时跟踪文件：tail -f /var/log/nodejs/app.log
- 过滤错误并高亮：grep --color=auto -i “error” /var/log/nodejs/app.log
- 按时间窗口查看（配合 journalctl）：journalctl -u myapp.service --since “2025-11-28 10:00:00”
- 结构化解析与统计
- JSON 日志字段提取（示例提取 level 与 msg）：jq -r ‘. | “(.level) (.msg)”’ app.log
- 统计 Top 5 错误类型：grep -o ‘error=[A-Z_]+’ app.log | sort | uniq -c | sort -nr | head -5
- 日志轮转与保留
- 使用 Logrotate 每日轮转、保留 7 天并压缩，避免磁盘被撑满。
三 应用内结构化日志配置示例
- 使用 Winston 输出 JSON 并按级别分流到不同文件
- 安装：npm install winston
- 配置与打点：
- const winston = require(‘winston’);
const logger = winston.createLogger({
level: ‘info’,
format: winston.format.json(),
transports: [
new winston.transports.File({ filename: ‘error.log’, level: ‘error’ }),
new winston.transports.File({ filename: ‘combined.log’ })
]
});
logger.info(‘服务器已启动’, { port: 3000 });
logger.error(‘数据库连接失败’, { err: new Error(‘timeout’) });
- 使用 Bunyan 输出结构化日志（便于 jq/ELK 解析）
- 安装：npm install bunyan
- 配置与打点：
- const bunyan = require(‘bunyan’);
const log = bunyan.createLogger({ name: ‘myapp’, level: ‘info’ });
log.info({ user: ‘alice’, action: ‘login’ }, ‘用户登录’);
log.error({ err: new Error(‘boom’) }, ‘操作失败’);
四 集中式日志与可视化
- Filebeat + Logstash + Elasticsearch + Kibana
- Filebeat 采集 Node.js 日志文件并发送至 Logstash。
- Logstash Grok 解析日志，提取 timestamp、level、msg、clientip 等关键字段；示例：
- filter {
if [type] == “nodejs” {
grok {
match => { “message” => “%{TIMESTAMP_ISO8601:timestamp} - %{IPORHOST:clientip} %{LOGLEVEL:level} %{PATH:path} - %{GREEDYDATA:msg}” }
}
geoip { source => “clientip” }
}
}
- 解析后写入 Elasticsearch，在 Kibana 中建立索引模式、字段解析与可视化仪表盘。
- 轻量替代
- 使用 PM2 快速聚合多实例日志，配合 grep/jq 做临时分析；或引入 Fluentd 统一采集并输出到 ES/Kafka 等后端。
五 运维与排错最佳实践
- 采用结构化日志（如 JSON），统一字段规范（如 timestamp、level、msg、trace_id），便于检索与聚合。
- 正确使用日志级别：debug/info/warn/error，避免在生产滥用 console.log。
- 配置合理的保留与轮转策略（如 Logrotate 每日轮转、压缩、保留 7–30 天），并监控磁盘使用。
- 为 systemd 服务设置合适的 StandardOutput/StandardError，便于 journalctl 统一检索与追踪。
- 将日志接入集中式平台（如 ELK），并建立关键指标与异常告警（如错误率、P99 延迟、5xx 数量）。
