hadoop数据库怎样调优

需要先澄清一个常见误区：Hadoop 本身不是数据库，而是一套分布式存储与计算框架。通常大家说的“Hadoop 数据库调优”，其实是指 Hadoop 生态中的存储与计算组件调优，主要包括：

• HDFS（分布式存储）
• MapReduce / YARN（计算与资源调度）
• Hive / HBase（常被称为“Hadoop 上的数据库”）

下面按常见场景给你一套实用调优思路。

一、HDFS 调优（存储层）

1. 块大小（block size）

• 默认：128MB（Hadoop 2/3）
• 大文件、批处理：可调整为 256MB / 512MB
• 小文件多：避免，或小文件合并

<property>
  <name>dfs.blocksize</name>
  <value>268435456</value> <!-- 256MB -->
</property>

2. 小文件问题（最常见问题）

• 小文件会导致 NameNode 内存暴涨
• 解决：
  • Hive：使用 ORC / Parquet + 分区
  • 合并小文件：Hadoop Archive (HAR)、CombineFileInputFormat

3. 副本数

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

• 冷数据可降为 2
• 重要数据保持 3

二、YARN 调优（资源调度）

1. 内存与 CPU 配置

yarn.nodemanager.resource.memory-mb=64G
yarn.nodemanager.resource.cpu-vcores=16

2. 容器大小

yarn.scheduler.minimum-allocation-mb=1G
yarn.scheduler.maximum-allocation-mb=16G

3. 队列调度

• 使用 Capacity Scheduler
• 按业务分队列（离线 / 实时 / 临时）

三、MapReduce 调优

1. Map 数量

• 由输入文件大小 / block size 决定
• 小文件 → 用 CombineTextInputFormat

2. Reduce 数量

mapreduce.job.reduces=200

• 太多：小文件多
• 太少：单 reduce 慢

3. JVM 重用

mapreduce.job.jvm.numtasks=10

四、Hive 调优（最像“数据库”的部分）

1. 存储格式

✅ 推荐：

• ORC
• Parquet

STORED AS ORC

2. 压缩

SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

3. 执行引擎

SET hive.execution.engine=tez;  -- 或 spark

4. 分区 & 分桶

PARTITIONED BY (dt STRING)
CLUSTERED BY (user_id) INTO 32 BUCKETS

5. 避免全表扫描

• 使用分区过滤
• 开启：

SET hive.optimize.ppd=true;

五、HBase 调优（真正意义上的“数据库”）

1. Region 数量

• 单 Region 建议 10–20GB
• 预分区，避免热点

2. BlockCache

hfile.block.cache.size=0.4

3. MemStore

hbase.regionserver.global.memstore.size=0.4

4. 行键设计（非常关键）

• 避免时间戳前缀（热点）
• 使用 salting / hash

六、通用调优原则（很重要）

1. 先测后调（不要盲调）
2. 看监控：
   • NameNode / ResourceManager UI
   • GC 日志
3. 调一个参数，观察一个指标
4. 优先解决：
   • 小文件
   • 数据倾斜
   • 资源浪费

七、如果你愿意，我可以更具体地帮你

你可以告诉我：

• 用的是 Hive / HBase / Spark on Hadoop？
• 是 查询慢 / 写入慢 / 资源不够？
• 集群规模（节点数、内存）

我可以直接给你针对性参数配置示例。