如何在Debian上利用Node.js日志进行故障排查

在 Debian 上利用 Node.js 日志进行故障排查

一、定位日志来源与快速查看

应用自身日志：若使用日志库（如 winston、pino、bunyan、morgan），优先查看其写入的文件日志或控制台输出；Express 场景常将请求日志写入如 access.log/error.log。
systemd 服务日志：使用 journalctl -u 服务名 查看服务标准输出与错误；实时跟踪可用 journalctl -u 服务名 -f。
系统日志：查看 /var/log/syslog，可用 grep node /var/log/syslog 快速筛选 Node 相关条目。
内核与启动信息：使用 dmesg | grep node 排查与驱动、OOM、硬件相关的异常。
实时跟踪文件：对应用或访问日志使用 tail -f app.log 观察最新输出。
进程管理工具：若使用 PM2，可用 pm2 logs 聚合多进程日志，便于统一排查。

二、提升日志可观测性

设置合适的日志级别：常见级别为 DEBUG、INFO、WARN、ERROR、FATAL；开发/排障阶段可临时提升为 DEBUG，生产建议 INFO/WARN/ERROR 分层控制。
结构化与统一格式：在日志中加入 timestamp、level、message、requestId 等字段，便于检索与聚合分析。
多目标输出：同时输出到控制台与文件，错误单独写入 error.log，便于告警与归档。
动态控制：通过环境变量（如 LOG_LEVEL=debug）在不改代码的情况下调整日志详细程度。

示例（winston + 环境变量）：

const winston = require('winston');
const logger = winston.createLogger({
  level: process.env.LOG_LEVEL || 'info',
  format: winston.format.combine(
    winston.format.timestamp(),
    winston.format.json()
  ),
  transports: [
    new winston.transports.File({ filename: 'error.log', level: 'error' }),
    new winston.transports.File({ filename: 'combined.log' }),
    new winston.transports.Console()
  ]
});
logger.info('服务启动', { port: 3000 });
logger.error('异常发生', { err: err.message, stack: err.stack });

HTTP 请求日志（Express + morgan + winston）：

const morgan = require('morgan');
app.use(morgan('combined', { stream: { write: msg => logger.info(msg.trim()) } }));

运行时调试：设置 DEBUG=* 输出依赖模块内部调试信息（如 DEBUG=express*）。

三、日志轮转与运维安全

使用 logrotate 防止日志无限增长，示例配置 /etc/logrotate.d/nodejs：

/var/log/myapp/*.log {
  daily
  rotate 7
  missingok
  notifempty
  compress
  create 0640 nodeuser nodegroup
}

调试与强制执行：

logrotate -d /etc/logrotate.conf   # 语法检查
logrotate -f /etc/logrotate.conf   # 强制执行

权限与运行用户：确保日志目录与文件可被应用用户写入，例如：

sudo mkdir -p /var/log/myapp
sudo chown -R nodeuser:nodegroup /var/log/myapp
sudo chmod -R 755 /var/log/myapp
sudo -u nodeuser node app.js

常见问题速查：
- 日志过大 → 配置 logrotate 的 daily/rotate/compress。
- 权限被拒 → 检查目录属主与权限、以正确用户运行。
- 日志丢失/被移动 → 使用 inotifywait 监控日志目录变更。
- 格式不一致 → 统一 timestamp/level/message 格式，便于检索。

四、典型排查路径与命令清单

服务是否崩溃或反复重启：
- 查看服务日志：journalctl -u nodeapp.service -e；必要时配合 -f 实时跟踪。
应用启动失败或端口占用：
- 系统层面：grep node /var/log/syslog；内核/资源：dmesg | grep node。

运行期异常（未捕获异常、Promise 拒绝）：

在代码中加入全局处理，确保异常被记录到日志：

process.on('unhandledRejection', (reason, p) => {
  logger.error('Unhandled Rejection', { reason, stack: reason?.stack, promise: p });
});
process.on('uncaughtException', (err) => {
  logger.error('Uncaught Exception', { err: err.message, stack: err.stack });
  process.exit(1); // 安全退出，交由进程管理重启
});

访问异常或性能问题：
- 查看 access.log/error.log 或 combined.log 中的 HTTP 状态码、耗时、URL、UA；实时跟踪：tail -f access.log。
多进程/集群：
- 使用 pm2 logs 聚合查看各实例日志，快速比对差异。

五、进阶与集中化

集中式日志：将日志发送到 ELK Stack（Elasticsearch、Logstash、Kibana） 或 Graylog，实现跨主机检索、可视化与告警。
性能与可观测性增强：结合 APM（如 Datadog、New Relic）与日志关联 trace_id/request_id，加速定位链路瓶颈。

最新问答

相关标签