Ubuntu Node.js日志如何优化存储

优化Ubuntu上Node.js日志存储的实践方案

1. 选择合适的日志库

使用成熟的第三方日志库增强日志管理能力，常见选择包括：

Winston：最流行的日志库，支持多传输方式（文件、控制台、数据库等）、灵活的格式化配置及插件扩展（如winston-daily-rotate-file实现轮转）；
Pino：以高性能著称，适合对日志写入速度要求高的场景，默认JSON格式输出，便于后续分析；
Bunyan：功能丰富，默认JSON格式，提供CLI工具查看结构化日志，适合复杂应用。
这些库均支持异步写入，避免阻塞主线程，提升应用性能。

2. 配置日志级别动态管理

根据环境动态调整日志级别，减少不必要的日志写入：

生产环境：设置为error或warn，仅记录关键错误和警告，降低磁盘占用；
开发/测试环境：设置为debug或info，记录详细信息便于排查问题。
示例代码（Winston）：

const logger = winston.createLogger({
  level: process.env.NODE_ENV === 'production' ? 'error' : 'debug', // 环境变量控制级别
  format: winston.format.json(),
  transports: [new winston.transports.File({ filename: 'combined.log' })]
});
if (process.env.NODE_ENV !== 'production') {
  logger.add(new winston.transports.Console({ format: winston.format.simple() })); // 开发环境输出到控制台
}

3. 实现日志轮转与归档

通过自动切割和压缩旧日志，避免单个文件过大占用磁盘空间：

Winston插件：使用winston-daily-rotate-file，按天/大小分割日志，自动压缩旧文件。配置示例：

const DailyRotateFile = require('winston-daily-rotate-file');
const transport = new DailyRotateFile({
  filename: 'application-%DATE%.log', // 文件名包含日期（如application-2025-10-07.log）
  datePattern: 'YYYY-MM-DD',          // 日期格式
  zippedArchive: true,                // 压缩旧日志
  maxSize: '20m',                     // 单个文件最大20MB
  maxFiles: '14d'                     // 保留14天内的日志
});

系统工具：使用logrotate（Ubuntu自带），配置示例（/etc/logrotate.d/nodejs）：

/var/log/nodejs/*.log {
  daily                             # 每天轮转
  rotate 7                          # 保留7天
  compress                          # 压缩旧日志
  missingok                         # 文件不存在不报错
  notifempty                        # 空文件不轮转
  create 640 root adm               # 创建新文件权限
  sharedscripts                     # 所有日志轮转完成后执行脚本
  postrotate
    /usr/bin/killall -HUP node        # 重启Node.js进程重新打开日志文件
  endscript
}

4. 集中式日志管理

将日志发送到集中式系统（如ELK Stack、Graylog、Datadog），解决分布式应用日志分散问题，提升查询和分析效率：

ELK Stack：Elasticsearch存储日志，Logstash解析日志，Kibana可视化展示；

PM2集成：使用pm2-logrotate模块（PM2内置），自动管理多进程日志，配置示例（ecosystem.config.js）：

module.exports = {
  apps: [{
    name: 'my-app',
    script: 'app.js',
    out_file: '/var/log/nodejs/out.log',
    error_file: '/var/log/nodejs/err.log',
    log_rotation: {
      period: '1d',                   # 每天轮转
      rotateAfterSize: '10M',         # 达到10MB轮转
      keepFiles: 7                    # 保留7天
    }
  }]
};

5. 性能优化策略

异步写入：确保日志库使用异步模式（Winston默认异步），避免阻塞主线程；
减少同步操作：避免在日志记录中使用fs.writeFileSync等同步方法；
内存管理：定期检查应用内存泄漏（如未释放的日志对象），使用process.memoryUsage()监控内存占用；
集群优化：使用PM2的集群模式（exec_mode: 'cluster'），多进程共享日志，提升吞吐量。

6. 定期清理与监控

自动化清理脚本：使用find命令定期删除过期日志（如7天前），示例：
```
#!/bin/bash
find /var/log/nodejs -type f -name "*.log" -mtime +7 -exec rm -f {} \;
```
将脚本添加到cron（如每天凌晨2点执行）：
```
0 2 * * * /path/to/cleanup_script.sh
```
磁盘空间监控：使用df -h定期检查磁盘使用情况，设置阈值报警（如磁盘空间低于20%时发送邮件通知）。