Ubuntu Python日志管理最佳实践

Ubuntu Python 日志管理最佳实践

一基础配置与分级

使用标准库 logging，按环境设置级别：开发环境用 DEBUG，生产环境用 WARNING/ERROR，避免产生过多日志影响性能。
统一日志格式，包含：时间、日志器名、级别、消息、线程名/进程号等，便于检索与聚合。
同时输出到控制台与文件，便于本地调试与持久化留存。
异常务必记录堆栈：使用 logger.exception() 或 exc_info=True。
建议按模块获取记录器：logger = logging.getLogger(name)，避免根记录器滥用。

示例（控制台 + 文件双输出，统一格式）：

import logging

fmt = '%(asctime)s %(name)s %(levelname)s [%(threadName)s] %(message)s'
datefmt = '%Y-%m-%d %H:%M:%S'

logging.basicConfig(
    level=logging.INFO,
    format=fmt,
    datefmt=datefmt,
    handlers=[
        logging.StreamHandler(),
        logging.FileHandler('app.log', mode='a', encoding='utf-8'),
    ],
)

logger = logging.getLogger(__name__)

try:
    1 / 0
except Exception:
    logger.exception("unexpected error")

以上做法覆盖了级别设置、格式统一、异常堆栈与多目标输出等关键要点。

二日志轮转与保留策略

应用内轮转：
- 按大小：RotatingFileHandler(‘app.log’, maxBytes=1010241024, backupCount=5)（10 MB，保留 5 个备份）。
- 按时间：TimedRotatingFileHandler(‘app.log’, when=‘midnight’, interval=1, backupCount=7)（每日轮转，保留 7 天）。
系统级轮转（推荐与应用内配合）：
- Ubuntu 使用 logrotate，为应用日志创建配置 /etc/logrotate.d/myapp：
```
/var/log/myapp/*.log {
    daily
    rotate 14
    compress
    delaycompress
    missingok
    notifempty
    create 0640 www-data www-data
    sharedscripts
    postrotate
        systemctl reload myapp.service >/dev/null 2>&1 || true
    endscript
}
```
- 说明：按日轮转、保留 14 天、压缩归档、自动创建日志文件并设置权限；如需确保日志句柄刷新，可在 postrotate 中 reload 服务（按实际服务名调整）。
保留策略建议：结合磁盘容量设置保留天数（如 7–30 天），并启用压缩以节省空间。
以上两种方式可并行使用：应用内控制“文件个数/大小”，系统级控制“保留周期/压缩/清理”。

三结构化日志与集中化

结构化日志便于接入 ELK/EFK 或数据管道：

使用 JSONFormatter 输出结构化日志：

from json_log_formatter import JSONFormatter
import logging

logger = logging.getLogger("json")
handler = logging.StreamHandler()
handler.setFormatter(JSONFormatter())
logger.addHandler(handler)
logger.setLevel(logging.INFO)

logger.info("user login", extra={"user": "alice", "ip": "192.168.1.10"})

集中化方案：以 Filebeat/Logstash 采集日志，写入 Elasticsearch，在 Kibana 建立索引与可视化面板。

错误与告警聚合：接入 Sentry 等平台，实时捕获异常堆栈与上下文，缩短 MTTR。
以上做法覆盖结构化输出与集中化检索、可视化及告警联动。

四多进程与多线程实践

多线程：标准库 logging 是线程安全的，可直接在多线程任务中使用同一记录器。
多进程：避免多进程同时写同一文件导致内容交错或句柄竞争，推荐：
- 每个进程写独立日志文件（如按 PID 命名）；或
- 使用 QueueHandler + QueueListener 将日志集中到单一进程/线程处理与落盘，保证顺序与完整性。
示例（QueueHandler/QueueListener 思路）：主进程创建 Queue 与 QueueListener（绑定 FileHandler/其他 Handler），子进程通过 QueueHandler 发送日志事件。
以上策略可有效避免多进程写冲突并提升日志可靠性。

五运维与合规建议

权限与合规：日志可能包含敏感信息，设置最小权限（如 0640，属主属组按服务账户设置），并避免在生产日志中打印密钥/口令。
配置管理：将日志级别、路径、轮转参数外置为 JSON/YAML/INI 配置文件或环境变量，便于不同环境复用与动态调整。
系统日志集成：除应用日志外，建议同时利用 rsyslog 与 systemd journal 收集服务标准输出/错误输出，便于统一检索与审计。
监控与告警：结合 Sentry/Prometheus 等建立错误率、延迟等关键指标的监控与告警，形成“日志 + 指标 + 追踪”的可观测性闭环。
以上做法覆盖安全、配置、系统日志联动与可观测性体系化建设。

最新问答

相关标签