如何优化Ubuntu JS日志存储空间

Ubuntu Node.js 日志存储空间优化

一 应用侧优化

• 选择合适的日志库：优先使用成熟的 Winston、Pino、Bunyan 或 Morgan（HTTP 请求日志），便于分级、传输与轮转。
• 设置合理的日志级别：生产环境建议 info/warn/error，调试阶段再开启 debug，避免无谓输出。
• 启用日志轮转：在应用内使用如 winston-daily-rotate-file，按大小或时间切分，自动压缩与保留历史。
• 异步与非阻塞：开启异步日志或批量写入，降低对主线程与 I/O 的影响。
• 采样与降噪：对高频事件做采样或汇总，避免循环与高频回调中大量打印。
• 结构化与集中化：输出 JSON 便于检索，结合 ELK/Graylog/Datadog 做聚合、搜索与告警。
• 安全合规：避免记录 密码、密钥、令牌 等敏感信息，必要时脱敏或剔除字段。

二 系统与工具配置

• 使用 logrotate 管理 Node.js 应用日志：创建 /etc/logrotate.d/nodejs，示例：
  /var/log/nodejs/*.log {
  daily
  rotate 7
  compress
  missingok
  notifempty
  create 0640 root adm
  }
  说明：每天轮转、保留 7 天、压缩旧日志、自动创建新文件并设置权限。
• 强制立即轮转（调试/应急）：执行 sudo logrotate -f /etc/logrotate.conf。
• 清理 systemd 系统日志（journald）：
  • 查看占用：journalctl --disk-usage
  • 按时间保留：sudo journalctl --vacuum-time=7d
  • 按大小保留：sudo journalctl --vacuum-size=500M
• 清理应用日志目录的旧文件：
  • 按时间删除：find /path/to/logs -type f -name “*.log” -mtime +7 -delete
  • 仅清空内容：sudo truncate -s 0 /path/to/app.log（保留 inode 与文件句柄，适合运行中服务）

三 推荐配置示例

• 应用内（Node.js + Winston + 按天轮转）：
  • 安装：npm i winston winston-daily-rotate-file
  • 配置要点：按 日期/小时 切分、开启 压缩、设置 最大保留天数 与 单文件大小上限。
• 系统侧（logrotate）：为 /var/log/nodejs/*.log 配置 daily / rotate 7 / compress / missingok / notifempty / create 0640 root adm。
• 系统日志（journald）：按业务保留 7–30 天 或 500MB–1GB，避免无限增长。

四 监控与容量规划

• 容量与增长监控：定期用 df -h、du -sh /var/log /path/to/logs 观察日志目录增长趋势。
• 异常告警：对 磁盘使用率、日志写入速率、错误日志数量 设置阈值告警，提前干预。
• 保留策略：结合合规与故障排查需求，应用日志建议 7–14 天，系统 journald 建议 7–30 天 或按容量上限控制。
• 集中化与长期留存：将关键日志发送至 ELK/Graylog/Datadog，在集中系统保留更长时间，应用侧仅保留短期滚动日志。

五 安全与维护建议

• 文件权限与访问控制：日志目录与文件建议 0640 root adm，仅授权必要人员访问。
• 敏感信息治理：禁止明文记录 凭据/密钥，上线前做脱敏与审计。
• 清理操作规范：避免直接 rm 正在写入的日志，优先 truncate 或让 logrotate 处理；清理前确认对排障无影响。
• 自动化与例行维护：将 logrotate 纳入日常，按需配置 cron 或系统定时器执行清理任务。