如何快速遍历结果集

“快速遍历结果集”要看具体场景（数据库、编程语言、数据规模、是否可并行等）。下面按最常见的情况给你结论 + 示例。

一、数据库结果集（最常见）

✅ 原则

1. 只查需要的字段
2. 避免一次性加载全部数据到内存
3. 使用游标 / 流式读取
4. 必要时分页或批量处理

1️⃣ MySQL（JDBC / 编程）

❌ 慢方式（一次性加载）

Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("SELECT * FROM big_table");
while (rs.next()) {
    ...
}

✅ 快方式（流式结果集）

Statement stmt = conn.createStatement(
    ResultSet.TYPE_FORWARD_ONLY,
    ResultSet.CONCUR_READ_ONLY
);
stmt.setFetchSize(Integer.MIN_VALUE); // 流式读取
ResultSet rs = stmt.executeQuery("SELECT id, name FROM big_table");

while (rs.next()) {
    // 逐行处理
}

✅ 适合：千万级数据 ❌ 不适合：需要随机访问

2️⃣ PostgreSQL（游标）

BEGIN;
DECLARE cur CURSOR FOR SELECT id, name FROM big_table;
FETCH 1000 FROM cur;
COMMIT;

3️⃣ Oracle

stmt.setFetchSize(1000);

Oracle 默认缓存行，调大 fetchSize 可显著提升速度。

二、分页遍历（最稳妥）

✅ 推荐方式（游标分页）

SELECT id, name
FROM big_table
WHERE id > :last_id
ORDER BY id
LIMIT 1000;

循环直到结果为空。

✅ 优点：

• 不锁表
• 不内存溢出
• 可中断恢复

三、编程语言中的“结果集”

Python（数据库）

for row in cursor.fetchall():  # ❌ 慢
    ...

# ✅ 推荐
for row in cursor:
    ...

或使用服务器端游标（如 psycopg2）：

with conn.cursor(name='server_cursor') as cur:
    cur.itersize = 2000
    cur.execute("SELECT * FROM big_table")
    for row in cur:
        ...

Java Stream（内存集合）

list.stream().forEach(...)

大数据量时： ✅ 使用 Iterator ✅ 避免 collect()

四、并行加速（谨慎）

✅ 分片并行

WHERE id % 4 = 0
WHERE id % 4 = 1
...

多个线程/进程同时遍历。

⚠️ 注意：

• 数据库 CPU
• 事务隔离
• 顺序不重要时才用

五、性能对比速览

六、一个“万能建议”

永远不要为了“快”而把整个结果集装进内存。

如果你愿意，可以直接告诉我：

• 用什么数据库（MySQL / PG / Oracle）
• 数据量
• 是否要排序
• 是否要修改数据

我可以给你最优的具体实现方案。