怎么优化大数据导出性能

大数据量导出（Excel / CSV / 数据库 dump 等）常见瓶颈在 内存、IO、数据库查询、序列化、网络。下面从「思路 → 具体手段 → 常见方案」系统讲一下优化方法。

一、核心优化思路

一句话原则：

避免一次性加载全部数据，边查边写、流式处理、减少不必要开销

二、数据库层优化（最关键）

1. 避免 SELECT *

• 只查需要的字段
• 减少网络传输和对象映射成本

-- 不好
SELECT * FROM orders;

-- 好
SELECT id, user_id, amount, create_time FROM orders;

2. 分页查询（游标 / 流式）

不要用 LIMIT offset, size（offset 越大越慢）

✅ 推荐：基于主键或时间游标

SELECT * FROM orders
WHERE id > :lastId
ORDER BY id
LIMIT 1000;

或使用数据库游标（如 MySQL stream、PostgreSQL DECLARE CURSOR）

3. 合理加索引

• 排序字段
• 过滤字段
• 游标字段

三、应用层优化

4. 流式导出（最重要）

❌ 错误方式：

List<Order> list = dao.findAll(); // OOM
export(list);

✅ 正确方式：

while (hasNext) {
    List<Order> batch = dao.queryNext();
    writer.write(batch);
}

5. 使用流式写入组件

Excel

• EasyExcel（推荐）
• 不用 POI（POI 容易 OOM）

EasyExcel.write(outputStream, Order.class)
         .sheet("data")
         .doWrite(dataIterator);

CSV

• 直接 BufferedWriter
• 比 Excel 快 5–10 倍

6. 批量大小控制

常见经验值：

• 数据库一批：500–2000 条
• 写文件一批：1000–5000 条

太大：内存涨
太小：IO 次数多

四、文件与 IO 优化

7. 使用缓冲流

BufferedOutputStream
BufferedWriter

8. 压缩（大数据必做）

• 导出 CSV + ZIP
• 可减少 70–90% 体积

五、架构级优化（超大数据）

9. 异步导出 + 文件下载

流程：

1. 用户点导出
2. 后台任务生成文件
3. 生成完成发通知
4. 用户下载

✅ 用：

• 消息队列
• 定时任务
• 对象存储（OSS / S3）

10. 分文件导出

• 按时间 / 用户 / 地区拆分
• 避免单文件过大

11. 数据库直出（极端场景）

• MySQL → CSV
• PostgreSQL COPY TO
• Spark / Flink 导出

COPY orders TO '/tmp/orders.csv' CSV HEADER;

六、常见坑总结

❌ 一次性查全表
❌ 用 POI 写大 Excel
❌ 在接口里同步导出
❌ 导出时做复杂计算

✅ 流式
✅ 异步
✅ 批处理
✅ 简单化

七、选型建议

如果你能告诉我：

• 数据量大概多少
• 导出格式（Excel / CSV）
• 技术栈（Java / Python / Node）

我可以给你更具体的代码级方案。