如何设置Debian JS日志监控
小樊
36
2025-12-16 09:04:25
Debian JS日志监控实操指南
一 架构与方案选型
- 应用侧：使用 Node.js 的日志库（如 winston、pino、morgan）输出结构化日志，便于检索与聚合。
- 运行侧：用 systemd 托管进程，统一标准输出/错误到 journald，便于集中查看与转发。
- 存储与可视化：小规模用 journald + rsyslog/filebeat 聚合到 ELK（Elasticsearch、Logstash、Kibana） 或 Graylog；中大规模建议直接走 filebeat → Logstash/Elasticsearch。
- 告警：在 Kibana 建立可视化与阈值告警，或在 Graylog 配置规则告警。
二 快速落地步骤
- 应用侧日志标准化
- 安装日志库（示例为 winston）：npm i winston；如需按日轮转：npm i winston-daily-rotate-file。
- 配置示例（写入文件 + 控制台，生产建议 JSON 格式）：
- const winston = require(‘winston’);
const { createLogger, format, transports } = winston;
const DailyRotateFile = require(‘winston-daily-rotate-file’);
const logger = createLogger({
level: process.env.LOG_LEVEL || ‘info’,
format: format.combine(format.timestamp({ format: ‘YYYY-MM-DD HH:mm:ss’ }), format.json()),
transports: [
new DailyRotateFile({
filename: ‘logs/application-%DATE%.log’,
datePattern: ‘YYYY-MM-DD’,
zippedArchive: true,
maxSize: ‘20m’,
maxFiles: ‘14d’
}),
new transports.Console({ format: format.simple() })
]
});
logger.info(‘应用启动’, { pid: process.pid });
- 运行侧托管与实时查看
- 创建 systemd 服务（/etc/systemd/system/jsapp.service）：
- [Unit]
Description=Node.js JS App
After=network.target
[Service]
ExecStart=/usr/bin/node /opt/jsapp/app.js
Restart=always
User=www-data
Environment=NODE_ENV=production
StandardOutput=journal
StandardError=journal
SyslogIdentifier=jsapp
[Install]
WantedBy=multi-user.target
- 启用与查看：
- sudo systemctl daemon-reload
sudo systemctl enable --now jsapp
sudo journalctl -u jsapp -f
- 集中化与可视化
- 方案A（轻量）：rsyslog/filebeat → Elasticsearch → Kibana（创建索引模式如 nodejs-*，在 Discover 中查看）。
- 方案B（功能全）：Logstash 采集文件日志并写入 ES，Kibana 配置仪表盘与告警。
三 集中化与可视化配置要点
- Logstash 采集文件日志示例（/etc/logstash/conf.d/nodejs.conf）：
- input {
file {
path => “/opt/jsapp/logs/*.log”
start_position => “beginning”
sincedb_path => “/var/lib/logstash/sincedb-nodejs”
}
}
filter {
可添加 grok/date 解析，若日志已是 JSON 可省略
}
output {
elasticsearch {
hosts => [“http://localhost:9200”]
index => “nodejs-logs-%{+YYYY.MM.dd}”
}
}
- 启动：sudo systemctl restart logstash
- Kibana 可视化
- 访问 http://服务器IP:5601 → Management → Stack Management → Index Patterns → 创建索引模式 nodejs-logs-* → 选择时间字段（如 @timestamp）→ Discover 查看与构建图表。
四 日志轮转与容量控制
- 应用文件日志轮转
- 使用 winston-daily-rotate-file 控制单文件大小与保留天数（见上例：maxSize、maxFiles），避免无限增长。
- 系统日志轮转
- 使用 logrotate 管理 journal 或应用日志文件（/etc/logrotate.d/jsapp）：
- /opt/jsapp/logs/*.log {
daily
rotate 14
compress
missingok
notifempty
copytruncate
}
- 测试与强制执行：
- sudo logrotate -d /etc/logrotate.conf # 语法检查
sudo logrotate -f /etc/logrotate.d/jsapp # 强制执行
- 资源与成本优化
- 合理设置日志级别（如生产用 info/warn，调试再开 debug）。
- 定期清理旧索引（ES 中设置 ILM 或 Curator），避免磁盘被历史数据占满。
五 常见问题与排查
- 权限问题：确保运行用户对日志目录（如 /opt/jsapp/logs）具备写权限；服务以 www-data 或专用用户运行。
- 日志未入库：检查 Logstash 输入路径、文件权限与 sincedb 位置；确认索引模式与时间字段匹配。
- 实时性差：journalctl 使用 -f 实时跟踪；文件日志用 tail -f；Kibana 刷新间隔与数据延迟需对齐。
- 磁盘告警：配置 logrotate 保留周期与压缩；监控 /var/log 与 ES 数据目录使用率，设置告警阈值。
