如何校验导出数据一致性

校验“导出数据的一致性”通常指：导出的文件（Excel/CSV/DB dump等）与源头系统/数据库中的数据在内容、数量、结构上是完全一致的，没有遗漏、重复或篡改。

下面按通用方法论 + 常用手段 + 实践清单来说明。

一、明确“一致性”的含义（先定义标准）

不同场景下，一致性可能包括：

1. 数量一致

   • 总记录数一致
   • 各分组/条件记录数一致

2. 内容一致

   • 字段值完全一致（含空值、精度、格式）
   • 编码、时区、金额单位一致

3. 结构一致

   • 表头/字段名一致
   • 数据类型、顺序一致

4. 逻辑一致

   • 关联数据完整（如主子表）
   • 状态/计算字段正确

二、常见校验方法

方法 1：记录数校验（最基础）

• 源端：

  SELECT COUNT(*) FROM table WHERE condition;
  

• 导出文件：
  • Excel：行数 - 表头
  • CSV：行数（注意换行符、引号内换行）

✅ 不一致 → 立即排查过滤条件或导出逻辑

方法 2：关键字段校验和（Hash / Checksum）

对核心字段做哈希或求和：

• 数值型：

  SELECT SUM(amount), COUNT(*) FROM table;
  

• 字符串型：

  SELECT MD5(CONCAT(id, name, update_time)) FROM table ORDER BY id;
  

导出文件用脚本（Python/Pandas）计算同样值对比。

✅ 适合大数据量、不能逐条比对的情况

方法 3：逐条比对（小数据或抽样）

• 用主键（ID）做 JOIN 或 DataFrame merge
• 检查：
  • 缺失记录
  • 字段差异

Python 示例：

df_src.merge(df_exp, on='id', how='outer', indicator=True)

方法 4：分页 / 分批导出校验

防止：

• 导出超时截断
• 分页丢失最后一页

做法：

• 按 ID 范围或时间分段导出
• 每段分别校验数量和哈希

方法 5：字段级规则校验

常见规则：

• 金额小数位
• 时间格式（UTC / 本地）
• 枚举值合法
• 空值是否允许

可用：

• 单元测试
• 数据质量工具（Great Expectations / dbt tests）

方法 6：导出过程可控 & 可复现

• 导出使用同一时间点快照（如数据库只读副本）
• 导出 SQL 写死、可审计
• 导出后生成：
  • 记录数
  • 校验和
  • 导出时间

三、典型问题 & 对策

四、推荐实践流程（可直接用）

1. 定义导出条件和字段
2. 源端统计：COUNT / SUM / HASH
3. 导出文件
4. 文件级统计对比
5. 抽样或全量比对
6. 生成校验报告（通过 / 不通过）

如果你能告诉我：

• 数据来源（MySQL / Hive / 接口）
• 导出格式（CSV / Excel）
• 数据量级别（千 / 百万）

我可以给你更具体的校验脚本或方案。