如何排查导出内存溢出

“导出内存溢出”通常是指在导出大文件（Excel、CSV、PDF、数据库备份等）时，程序抛出 OutOfMemoryError 或内存占用暴涨导致服务崩溃。下面按排查思路 → 常见原因 → 解决方式系统说明。

一、先确认是不是“导出”导致的溢出

1. 看日志
   • Java：java.lang.OutOfMemoryError: Java heap space
   • 服务是否只在“点导出”时挂
2. 监控内存
   • top / jstat -gcutil
   • VisualVM / Arthas / Prometheus
3. 复现
   • 小数据能导出 ✅
   • 大数据必挂 ❌ → 基本确定是导出逻辑问题

二、常见原因 & 对应排查点

1️⃣ 一次性加载全量数据到内存（最常见）

表现

• List<Data> all = dao.queryAll();
• 然后再写文件

排查

• 是否 SELECT * FROM table（无分页）
• 数据量是否 10w / 100w 级

解决 ✅ 分页 / 游标导出

while (hasNext) {
    List<Data> list = dao.queryPage(page++, size);
    writer.write(list);
}

2️⃣ Excel 使用错误 API（XSSF 全量驻留内存）

表现

• 使用 XSSFWorkbook
• 几万行直接 OOM

排查

• 是否 new XSSFWorkbook()
• 行数 > 1w

解决 ✅ 使用：

• SXSSFWorkbook（流式）
• EasyExcel（推荐）

EasyExcel.write(output, Data.class)
         .sheet("data")
         .doWrite(queryIterator());

3️⃣ 导出对象过大 / 冗余字段

表现

• DTO 里嵌套大对象
• 图片 / JSON / 大文本

排查

• 导出 DTO 是否“全字段”
• 是否有 byte[] / Blob

解决 ✅ 只查导出字段

SELECT id, name, time FROM table

4️⃣ 流未关闭 / 缓冲累积

表现

• 内存缓慢上涨
• GC 无效

排查

• OutputStream 是否 flush/close
• 是否反复 ByteArrayOutputStream

解决 ✅ 使用流式响应

response.setContentType("text/csv");
PrintWriter pw = response.getWriter();

5️⃣ 并发导出放大内存

表现

• 1 人导出 OK
• 多人同时导出 OOM

排查

• 是否无导出限流
• 是否每个请求都全量加载

解决 ✅ 异步 + 任务队列 ✅ 导出文件生成后下载

三、通用排查工具

• Java
  • jmap -histo:live pid
  • jstack
  • MAT 分析 heap dump
• 通用
  • 日志打数据量：log.info("export size={}", size)

四、标准“安全导出”模板

✅ 分页查
✅ 流式写
✅ 不缓存全量
✅ 异步+限流
✅ 监控导出耗时和内存

如果你愿意，可以告诉我：

• 技术栈（Java / Python / Node）
• 导出格式（Excel / CSV / PDF）
• 报错信息或代码片段

我可以直接帮你定位到具体代码问题。