如何优化数据库插入速度

优化数据库插入（INSERT）速度通常可以从SQL写法、批量处理、表结构、数据库配置、硬件/架构几个层面入手。下面按“实用优先级”给你一套清单。

一、最核心：减少“交互次数”

1. 使用批量插入（最重要）

❌ 单条插入：

INSERT INTO t VALUES (1,'a');
INSERT INTO t VALUES (2,'b');

✅ 批量插入：

INSERT INTO t VALUES
(1,'a'),
(2,'b'),
(3,'c');

一般 一次 500～1000 行 比较均衡（视字段大小和 DB 而定）。

2. 使用 Prepared Statement（预编译）

• 避免 SQL 重复解析
• 网络传输更小

Java / Python / Go 都支持 executeMany

3. 关闭自动提交（事务合并）

❌ 每条都 commit

insert → commit
insert → commit

✅ 批量 commit

begin
insert x1000
commit

⚠ 注意：事务太大可能导致 undo/redo 爆掉

二、减少数据库“额外工作”

4. 插入前去掉索引（大批量导入）

ALTER TABLE t DISABLE KEYS;  -- MySQL(MyISAM)
-- 或
DROP INDEX idx_xxx;
-- 插入完成后再建索引
CREATE INDEX ...

对 InnoDB 效果有限，但仍建议：

• 减少非必要索引
• 避免唯一索引冲突检查

5. 避免触发器 / 外键检查

• 大批量导入时：

SET FOREIGN_KEY_CHECKS=0;

• 触发器会逐行执行，极慢

6. 自增主键优于 UUID

• UUID 插入：
  • 随机 IO
  • 索引分裂
• 自增 ID：
  • 顺序写
  • 性能高一个量级

三、写入方式优化

7. 使用 COPY / LOAD（最快）

PostgreSQL

COPY t FROM '/data/file.csv' WITH (FORMAT csv);

MySQL

LOAD DATA INFILE '/data/file.csv' INTO TABLE t;

这是最快的入库方式，比 INSERT 快 10～100 倍。

8. 多线程 / 多连接写入

• 按 分表 / 分库 / 主键范围 并行
• 避免锁竞争
• 控制并发数（不是越多越快）

四、数据库参数层面的优化（示例）

MySQL（InnoDB）

innodb_flush_log_at_trx_commit = 2
sync_binlog = 0
innodb_buffer_pool_size = 70% RAM

⚠ 会牺牲一定安全性，仅适合“可重跑数据”

五、架构级优化（高吞吐场景）

• 先写 消息队列（Kafka）
• 消费者异步批量落库
• 或先写 时序/列存（ClickHouse）

六、快速对照表

七、如果你愿意，我可以进一步帮你

你可以告诉我：

1. 用的什么数据库（MySQL / PG / Oracle）
2. 数据量（万 / 千万 / 亿）
3. 单条还是批量
4. 是否允许停写

我可以直接给你针对你场景的插入方案或示例代码。