WAL在数据库复制中如何工作

WAL（预写日志）在数据库复制中通过记录数据变更并同步到副本，保障数据一致性和高可用性，其核心工作流程如下：

一、主库数据变更记录

1. 事务执行阶段
   事务修改数据前，先将操作记录为WAL日志条目（如INSERT、UPDATE、DELETE的物理变更），存入主库内存缓冲区。
   • 例如：更新某行数据时，WAL会记录“修改前的旧值+修改后的新值+事务ID+数据页位置”等信息。
2. 日志持久化
   事务提交时，主库通过WAL Writer进程将缓冲区中的日志条目顺序写入磁盘WAL文件，确保即使系统崩溃也能通过日志恢复数据。
   • 日志文件按固定大小（如16MB）循环使用，满后自动切换并归档旧文件。

二、主从库数据同步

1. 物理复制（以PostgreSQL为例）

• 流式传输：主库的WAL Sender进程实时将WAL日志通过网络发送给从库的WAL Receiver进程。
• 备库应用日志：从库接收日志后，通过Startup进程重放（Replay）日志中的操作，将变更应用到本地数据文件，实现主从数据同步。
• 同步模式控制：
  • 同步复制：主库等待从库确认日志接收并写入磁盘后，才向客户端返回成功（强一致性，如金融场景）。
  • 异步复制：主库直接返回成功，日志通过后台线程异步传输到从库（低延迟，可能丢失少量数据）。

2. 逻辑复制（部分数据库支持）

• 日志解析：主库将WAL日志中的物理变更转换为逻辑操作（如SQL语句），通过Binlog或类似机制发送给从库。
• 对象级同步：可选择性复制特定表或数据，支持跨数据库系统同步（如MySQL主库到PostgreSQL从库）。
• 延迟处理：需解析和转换日志，可能引入额外延迟，适合对实时性要求低的场景。

三、关键机制与优化

1. 检查点（Checkpoint）
   定期将WAL日志中的脏页批量写入数据文件，减少日志文件大小并缩短恢复时间。
   • 例如：PostgreSQL通过checkpoint_timeout参数控制检查点触发间隔。
2. 日志压缩与归档
   • 压缩传输：减少网络带宽占用（如Oracle GoldenGate支持9:1压缩比）。
   • 归档存储：长期保存WAL日志，用于灾难恢复或审计。
3. 故障恢复
   • 从库通过重放WAL日志恢复到与主库一致的状态，主库故障时可切换为从库继续提供服务。
   • 主库恢复后，通过对比WAL日志与数据文件，自动修复不一致数据。

四、典型应用场景

• 数据库高可用：主库故障时，从库快速接管业务（如PostgreSQL流复制+自动故障转移）。
• 数据备份与容灾：通过WAL归档实现异地容灾，确保数据零丢失（如Oracle DataGuard）。
• 混合负载场景：主库处理写请求，从库通过复制分担读负载，提升系统吞吐量。

核心原理：通过“先写日志再写数据”的机制，将数据变更的物理过程转化为可序列化的日志流，实现主从库的原子性和一致性同步。不同数据库（如PostgreSQL、MySQL）在日志格式、传输协议和复制模式上存在差异，但核心逻辑均基于WAL的持久化和重放机制。