如何异步记录日志

异步记录日志的核心思想是：把日志事件先放入一个队列或缓冲区，由后台线程/进程负责真正的 I/O 写入，避免业务线程被磁盘 I/O 阻塞。下面从原理、常见实现方式、示例和注意事项几个层面说明。

一、为什么需要异步日志

同步日志的问题：

• 写磁盘（尤其是机械盘）慢
• 高并发时，日志 I/O 可能成为性能瓶颈
• 业务线程被阻塞，影响响应时间

异步日志的优势：

• 业务线程只负责“提交日志”
• 实际写文件、网络、数据库由后台完成
• 提高吞吐和响应速度

二、常见实现方式

1️⃣ 生产者-消费者模型（最常见）

业务线程（生产者）
        ↓
   内存队列（如 BlockingQueue）
        ↓
 日志线程（消费者） → 写文件 / 网络

特点：

• 解耦业务和 I/O
• 可控队列大小，防止内存暴涨

2️⃣ 批量异步写（Buffer + Flush）

• 日志先写内存 buffer
• 达到阈值或定时 flush 到磁盘

优点：

• 减少磁盘写次数
• 提高吞吐量

3️⃣ 使用现有异步日志框架（推荐）

三、示例

✅ Java（Log4j2 异步日志）

<AsyncLogger name="com.example" level="info">
    <AppenderRef ref="File"/>
</AsyncLogger>

或全局异步：

<AsyncLoggerContext>

特点：

• 内部使用 disruptor 队列
• 性能极高

✅ Python（QueueHandler）

import logging
import logging.handlers
import queue

log_queue = queue.Queue()

queue_handler = logging.handlers.QueueHandler(log_queue)
logger = logging.getLogger()
logger.addHandler(queue_handler)

handler = logging.FileHandler("app.log")
queue_listener = logging.handlers.QueueListener(log_queue, handler)
queue_listener.start()

✅ 优点：标准库支持，稳定
⚠️ 注意：程序退出时要 stop()

✅ Go（channel + goroutine）

var logChan = make(chan string, 1000)

func init() {
    go func() {
        for msg := range logChan {
            writeToFile(msg)
        }
    }()
}

func Info(msg string) {
    select {
    case logChan <- msg:
    default:
        // 队列满，丢弃或告警
    }
}

四、关键注意事项（非常重要）

⚠️ 1. 队列满怎么办？

常见策略：

• 阻塞（可能影响业务）
• 丢弃（推荐，日志可丢，业务不能挂）
• 降级为同步写

⚠️ 2. 日志丢失风险

• 程序崩溃时，内存中未刷盘的日志会丢失
• 解决方案：
  • 定期 flush
  • 使用持久化队列（如 Disruptor、Kafka）

⚠️ 3. 顺序性问题

• 异步日志 不保证严格顺序
• 如果强依赖顺序，需加序列号或时间戳

⚠️ 4. 优雅关闭

• 程序退出前必须：
  • 停止接收新日志
  • 把队列中剩余日志写完

五、什么时候不该用异步日志

❌ 强烈要求日志不丢失（如审计日志）
❌ 日志量极小、性能不敏感
❌ 调试阶段（同步日志更容易定位问题）

六、总结一句话

异步日志 = 日志入队 + 后台写盘，用空间换时间，用复杂度换性能。

如果你能告诉我：

• 使用语言
• 是否高并发
• 是否允许日志丢失

我可以给你一个生产级可直接用的方案。