hive数据库如何分区存储

在 Hive 中，分区（Partition）是把数据按照某些列的值进行物理目录划分，从而提升查询效率、减少扫描数据量。下面从概念、建表、加载数据、动态分区、管理等方面系统说明。

一、Hive 分区的核心概念

• 分区字段 不是真实数据列，而是目录结构
• 数据物理存储路径类似：

  /user/hive/warehouse/db.db/table/dt=2024-01-01/
  /user/hive/warehouse/db.db/table/dt=2024-01-02/
  

• 查询时通过 WHERE dt='2024-01-01' 直接定位目录

二、创建分区表

1. 单级分区

CREATE TABLE user_log (
    user_id STRING,
    action STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';

dt 是分区字段

2. 多级分区（常用）

CREATE TABLE order_detail (
    order_id STRING,
    amount DOUBLE
)
PARTITIONED BY (dt STRING, region STRING)
STORED AS PARQUET;

目录结构：

/dt=2024-01-01/region=beijing/
/dt=2024-01-01/region=shanghai/

三、加载分区数据

1. 静态分区（手动指定）

LOAD DATA LOCAL INPATH '/data/log_20240101.txt'
INTO TABLE user_log
PARTITION (dt='2024-01-01');

2. 从已有表插入（静态）

INSERT INTO TABLE user_log PARTITION (dt='2024-01-01')
SELECT user_id, action
FROM temp_log
WHERE log_date='2024-01-01';

四、动态分区（推荐）

1. 开启动态分区

SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;

2. 动态分区插入

INSERT INTO TABLE user_log PARTITION (dt)
SELECT
    user_id,
    action,
    log_date AS dt
FROM temp_log;

✅ dt 的值由 SELECT 最后一列自动决定

五、多级动态分区

SET hive.exec.dynamic.partition.mode=nonstrict;

INSERT INTO TABLE order_detail PARTITION (dt, region)
SELECT
    order_id,
    amount,
    order_date,
    area
FROM temp_order;

六、查看与管理分区

查看分区

SHOW PARTITIONS user_log;

手动添加分区（数据已存在）

ALTER TABLE user_log
ADD PARTITION (dt='2024-01-03')
LOCATION '/user/hive/warehouse/db.db/user_log/dt=2024-01-03';

删除分区

ALTER TABLE user_log DROP PARTITION (dt='2024-01-03');

七、分区设计建议

✅ 适合做分区的字段：

• 时间（dt、month）
• 地区（region）
• 业务维度（channel、type）

❌ 不适合：

• 高基数字段（user_id）
• 随机值

✅ 建议：

• 时间 + 业务维度组合
• 分区数不要过多（避免小文件）

八、常见存储格式配合

如果你有：

• 具体业务场景（日志 / 订单 / 用户）
• Hive 版本
• 是否使用 Spark / Tez

我可以帮你设计最优分区方案。