hive数据库怎样合并小文件

在 Hive 中，“合并小文件”通常出现在两个场景：

1. 写入数据时避免产生小文件（预防）
2. 已经存在大量小文件，需要合并（治理）

下面按场景说明常见做法。

一、写入时合并小文件（推荐预防方式）

1. 开启 Hive 合并小文件参数（最常用）

-- 在 Map 输出阶段合并
set hive.merge.mapfiles=true;

-- 在 Reduce 输出阶段合并
set hive.merge.mapredfiles=true;

-- 合并后文件大小（单位：字节，下面示例为 128MB）
set hive.merge.size.per.task=134217728;

-- 平均文件大小小于该值时触发合并
set hive.merge.smallfiles.avgsize=134217728;

适用场景：

• INSERT OVERWRITE
• 普通 ETL 写表

2. 使用 Distribute By / Cluster By 减少文件数

INSERT OVERWRITE TABLE target_table
SELECT *
FROM source_table
DISTRIBUTE BY rand();

或按业务字段：

DISTRIBUTE BY dt, province;

目的：

• 控制 Reducer 数量
• 避免每个 Reduce 写很多小文件

3. 控制 Reduce 数量

set mapreduce.job.reduces=10;

或：

set hive.exec.reducers.bytes.per.reducer=256000000;

减少 Reducer ⇒ 减少文件数

二、已存在小文件的合并方法

方法 1：INSERT OVERWRITE 自身（最常用）

INSERT OVERWRITE TABLE my_table
SELECT * FROM my_table;

配合合并参数：

set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=134217728;

⚠ 注意：

• 分区表要按分区写
• 会重写数据，注意资源消耗

方法 2：分区级合并（推荐大表）

INSERT OVERWRITE TABLE my_table
PARTITION (dt='2024-01-01')
SELECT
  col1, col2, col3
FROM my_table
WHERE dt='2024-01-01';

方法 3：使用临时表合并

-- 建临时表（结构一致）
CREATE TABLE tmp_table LIKE my_table;

-- 写数据
INSERT INTO tmp_table
SELECT * FROM my_table;

-- 改名替换
ALTER TABLE my_table RENAME TO my_table_bak;
ALTER TABLE tmp_table RENAME TO my_table;

适合：

• 表很大
• 不想直接 OVERWRITE 原表

三、ORC / Parquet 表专用优化

ORC 表

SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

INSERT OVERWRITE TABLE orc_table
SELECT * FROM orc_table;

ORC 本身支持：

• stripe 级别合并
• 更好压缩

四、Hive on Tez / Spark 的额外方式

Tez

set hive.execution.engine=tez;
set tez.am.resource.memory.mb=2048;

Spark SQL

SET spark.sql.files.maxPartitionBytes=134217728;

五、治理小文件的常见策略总结

✅ 写时合并
✅ 控制 Reducer
✅ 按分区治理
✅ ORC + 压缩
❌ 放任小文件增长

如果你愿意，可以告诉我：

• Hive 版本
• 表类型（Text / ORC / Parquet）
• 是否分区表
• 小文件数量级

我可以给你一套针对性的合并方案。