Ubuntu Node.js日志中如何监控性能

Ubuntu下通过Node.js日志监控性能的方法

1. 选择合适的日志模块，记录关键性能指标

使用结构化日志库（如Winston、Bunyan）替代console.log，记录应用的性能数据（如请求延迟、内存使用、CPU占用、数据库查询时间等）。例如，用Winston配置JSON格式日志，便于后续解析：

const winston = require('winston');
const logger = winston.createLogger({
  level: 'info',
  format: winston.format.json(),
  transports: [
    new winston.transports.File({ filename: 'logs/performance.log' }), // 性能日志单独存储
    new winston.transports.File({ filename: 'logs/error.log', level: 'error' })
  ]
});

// 记录请求处理时间（中间件示例）
app.use((req, res, next) => {
  const start = Date.now();
  res.on('finish', () => {
    const latency = Date.now() - start;
    logger.info('Request Performance', {
      method: req.method,
      route: req.route ? req.route.path : req.path,
      latency: `${latency}ms`,
      timestamp: new Date().toISOString()
    });
  });
  next();
});

这种方式能将性能数据与错误日志分离，便于后续针对性分析。

2. 内置模块监控核心性能指标

利用Node.js内置的process和os模块，定期记录内存、CPU等系统级指标，补充应用层日志：

setInterval(() => {
  const memoryUsage = process.memoryUsage();
  const cpuUsage = process.cpuUsage();
  const osCpuInfo = os.cpus();
  
  logger.info('System Performance', {
    memory: {
      rss: `${(memoryUsage.rss / 1024 / 1024).toFixed(2)} MB`, // 常驻内存
      heapUsed: `${(memoryUsage.heapUsed / 1024 / 1024).toFixed(2)} MB`, // 堆内存使用
      heapTotal: `${(memoryUsage.heapTotal / 1024 / 1024).toFixed(2)} MB` // 堆内存总量
    },
    cpu: {
      process: `${(cpuUsage.user / 1000).toFixed(2)}s`, // 进程CPU时间
      system: `${(cpuUsage.system / 1000).toFixed(2)}s`, // 系统CPU时间
      cores: osCpuInfo.length // CPU核心数
    },
    timestamp: new Date().toISOString()
  });
}, 5000); // 每5秒记录一次

这些数据能帮助识别内存泄漏（如heapUsed持续增长）或CPU过载（如process.cpuUsage过高）。

3. 日志分析与性能瓶颈定位

使用命令行工具快速分析日志，找出性能异常：

统计请求延迟分布：通过awk提取延迟字段并排序，找出最慢的请求：

awk -F'"latency":' '{print $2}' logs/performance.log | awk -F'ms' '{print $1}' | sort -nr | head -n 10

查找高频错误：结合grep过滤错误日志，统计出现次数：

grep "ERROR" logs/error.log | awk '{print $6}' | sort | uniq -c | sort -nr

实时监控日志：用tail -f实时查看性能日志，快速响应异常：
```
tail -f logs/performance.log | grep "Request Performance"
```

这些工具无需额外安装，适合快速排查问题。

4. 第三方工具增强日志监控能力

PM2：进程管理器，提供日志管理和实时性能监控：

pm2 start app.js --name "my-app" --log-date-format "YYYY-MM-DD HH:mm Z" # 启动应用并配置日志格式
pm2 logs --lines 100 # 实时查看日志（最后100行）
pm2 monit # 打开实时监控面板（显示CPU、内存、日志）

ELK Stack（Elasticsearch+Logstash+Kibana）：集中式日志管理，支持可视化分析：

用Logstash配置Filebeat采集日志：

input {
  file {
    path => "/path/to/logs/performance.log"
    start_position => "beginning"
    codec => "json"
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nodejs-performance-%{+YYYY.MM.dd}"
  }
}

在Kibana中创建仪表盘，可视化请求延迟、内存使用的趋势图。

5. 结构化日志与指标集成

将日志中的性能数据与Prometheus（时间序列数据库）集成，实现自动化监控与告警：

用prom-client库暴露指标端点：

const promClient = require('prom-client');
const httpRequestDuration = new promClient.Histogram({
  name: 'http_request_duration_seconds',
  help: 'Request duration in seconds',
  labelNames: ['method', 'route', 'status'],
  buckets: [0.1, 0.5, 1, 2, 5] // 定义延迟桶
});

// 中间件记录请求延迟
app.use((req, res, next) => {
  const start = Date.now();
  res.on('finish', () => {
    const latency = (Date.now() - start) / 1000;
    httpRequestDuration.labels(req.method, req.route?.path || req.path, res.statusCode).observe(latency);
  });
  next();
});

// 暴露/metrics端点
app.get('/metrics', async (req, res) => {
  res.set('Content-Type', promClient.register.contentType);
  res.end(await promClient.register.metrics());
});

用Prometheus抓取指标，Grafana创建仪表盘展示请求率、延迟百分位（P90、P99）、错误率等指标，设置告警规则（如延迟超过2秒触发邮件通知）。

6. 日志轮转避免文件过大

使用winston-daily-rotate-file模块自动分割日志文件，防止日志占用过多磁盘空间：

const winston = require('winston');
require('winston-daily-rotate-file');

const transport = new winston.transports.DailyRotateFile({
  filename: 'logs/performance-%DATE%.log',
  datePattern: 'YYYY-MM-DD',
  maxSize: '20m', // 单个文件最大20MB
  maxFiles: '7d' // 保留7天日志
});

const logger = winston.createLogger({
  level: 'info',
  format: winston.format.json(),
  transports: [transport]
});

这样可以保持日志文件的可管理性，便于长期存储和分析。