Linux分卷怎样进行日志管理

Linux 分卷日志管理实践

一、概念与总体思路

在生产环境中，“分卷”通常指两类需求：
- 运行期分卷：应用持续写入时按时间/大小自动滚动，旧日志压缩归档、按数量保留，避免磁盘被撑满。
- 事后分卷：对已有的超大历史日志按大小或行数拆分成多个小文件，便于传输、检索与归档。前者用 logrotate 实现自动化；后者用 split 等工具一次性处理。

二、运行期分卷 logrotate 标准做法

配置结构与加载顺序
- 主配置：/etc/logrotate.conf；服务配置：/etc/logrotate.d/（按字母顺序加载，可覆盖全局）。
- 状态文件：/var/lib/logrotate/status，记录每个日志上次轮转时间，用于判断是否触发 daily/weekly 等策略。
常用指令与含义
- 频率与触发：daily/weekly/monthly/hourly；按大小触发：size 100M；也可设置 maxsize/minsize 与时间共同决定。
- 保留与清理：rotate 7（保留 7 份）；maxage 90（超过 90 天的归档删除）。
- 归档命名：dateext（后缀为日期）；dateyesterday；dateformat -%Y-%m-%d。
- 压缩与延迟压缩：compress（gzip）、delaycompress（下次轮转再压缩）。
- 文件创建与权限：create 0640 app app；nocreate。
- 轮转方式：优先 create（原子切换句柄）；若无法通知应用重开日志再用 copytruncate（存在极小概率丢日志）。
- 脚本钩子：prerotate/postrotate；配合 sharedscripts 避免重复执行。
- 其它：missingok（文件不存在不报错）、notifempty（空文件不轮转）、olddir /archive（归档到指定目录）。

最小可用示例

Nginx（按天轮转，保留 7 天，压缩，通知重新打开日志）

/var/log/nginx/*.log {
    daily
    rotate 7
    missingok
    compress
    delaycompress
    create 0640 nginx adm
    sharedscripts
    postrotate
        /bin/kill -USR1 $(cat /run/nginx.pid 2>/dev/null) 2>/dev/null || true
    endscript
}

通用应用（按大小触发，保留 30 份，日期后缀）

/opt/app/*.log {
    size 100M
    rotate 30
    missingok
    create 0644 app app
    dateext
    dateyesterday
    dateformat -%Y-%m-%d
}

执行与调试
- 手动强制执行：/usr/sbin/logrotate -f /etc/logrotate.conf
- 调试模式：/usr/sbin/logrotate -d /etc/logrotate.conf
- 状态文件：/var/lib/logrotate/status（排查“未按预期轮转”问题）。

三、按小时轮转与定时集成

启用小时级轮转
- 在配置中使用 hourly；大多数发行版默认按日执行，可将 logrotate 加入 /etc/cron.hourly/ 以实现每小时检查：
```
# /etc/cron.hourly/logrotate
/usr/sbin/logrotate /etc/logrotate.conf
```
- 或在自定义目录放置配置并通过 crontab 精确调度（如每小时第 5 分执行）：
```
5 * * * * /usr/sbin/logrotate -v /etc/logrotate.d/myapp >> /var/log/logrotate-myapp.log 2>&1
```
- 提示：hourly 仅表示“检查频率”，是否真正轮转仍取决于 size/时间等条件是否满足。

四、事后分卷处理已有大日志

按大小拆分（便于传输/归档）
```
split -b 100M app.log app.log.
```
按行数拆分（便于按记录边界处理）
```
split -l 100000 app.log app.log.
```
使用数字后缀、指定后缀长度
```
split -b 50M -d -a 3 app.log app.log.
```

合并分卷（校验一致性）

cat app.log.* > app.log.recovered
md5sum app.log.recovered app.log && echo "OK" || echo "MISMATCH"

适用场景：历史日志归档、迁移、审计取证；不适用于仍在写入的线上日志（应使用 logrotate）。

五、关键注意事项与最佳实践

优先选择 create + postrotate 通知（如 Nginx 的 USR1、systemd 服务 systemctl reload），避免 copytruncate 带来的极小概率丢日志风险。
合理设置 rotate/maxage/compress，既控磁盘又便于追溯；对敏感日志用 create 0600 等最小化权限。
统一在 /etc/logrotate.d/ 管理各服务配置，主配置仅放通用策略；变更后用 -d 调试、-f 验证。
若需跨主机集中分析，可在保留本地分卷的同时接入 rsyslog/Filebeat/Logstash 等做集中化采集与长期存储。

最新问答

相关标签