hive数据库怎么调内存

在 Hive 里“调内存”通常不是调 Hive 自身一个参数，而是分 Hive 客户端 / 服务内存 和 底层执行引擎（MapReduce / Tez / Spark）内存 两部分。下面按常见场景给你说明。

一、Hive 自身进程内存（HiveServer2 / Metastore / CLI）

1️⃣ HiveServer2 内存

通过环境变量设置（一般在 hive-env.sh）：

export HADOOP_HEAPSIZE=4096   # 单位 MB，默认通常 1000
# 或
export HIVE_SERVER2_HEAPSIZE=4096

或修改：

$HIVE_HOME/conf/hive-env.sh

2️⃣ Metastore 内存

export HADOOP_HEAPSIZE=2048

或：

export METASTORE_HEAPSIZE=2048

二、Hive 查询执行内存（重点）

✅ 如果你用的是 MapReduce（默认老引擎）

Map 阶段内存

set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx3072m;

Reduce 阶段内存

set mapreduce.reduce.memory.mb=8192;
set mapreduce.reduce.java.opts=-Xmx6144m;

⚠️ java.opts 一般设为 memory.mb 的 0.8 左右

✅ 如果你用的是 Tez（推荐）

set hive.execution.engine=tez;

set tez.am.resource.memory.mb=4096;
set tez.am.java.opts=-Xmx3072m;

set tez.task.resource.memory.mb=4096;
set tez.task.java.opts=-Xmx3072m;

Tez 比 MapReduce 更省内存、更快

✅ 如果你用的是 Spark on Hive

set hive.execution.engine=spark;

set spark.executor.memory=8g;
set spark.executor.cores=4;
set spark.driver.memory=4g;

或在 spark-defaults.conf 中配置。

三、Hive 常见“内存不够”报错 & 对应调法

1️⃣ Java heap space

✅ 调大：

• mapreduce.reduce.java.opts
• tez.task.java.opts

2️⃣ Container killed by YARN for exceeding memory limits

✅ 调大：

• mapreduce.reduce.memory.mb
• tez.task.resource.memory.mb

3️⃣ 数据倾斜导致 OOM

set hive.groupby.skewindata=true;
set hive.optimize.skewjoin=true;

四、YARN 层面也要配合（很重要）

即使 Hive 设置了内存，YARN 不够也不行：

yarn.scheduler.maximum-allocation-mb
yarn.nodemanager.resource.memory-mb

五、推荐调优顺序（实战）

1. 先确认执行引擎（MR / Tez / Spark）
2. 调 container 内存
3. 再调 JVM 内存
4. 最后处理 数据倾斜

如果你愿意，可以告诉我：

• Hive 版本
• 执行引擎（MR / Tez / Spark）
• 报错信息或卡在哪一步

我可以直接帮你写一套可用参数配置。