CentOS HDFS配置如何调优

在 CentOS 上部署 HDFS（Hadoop Distributed File System） 时，调优主要从 操作系统、JVM、HDFS 参数、磁盘与网络 四个方面入手。下面给你一套可落地的 HDFS 调优思路，适用于生产环境（Hadoop 2.x / 3.x 通用）。

一、CentOS 操作系统层调优

1. 文件描述符（非常关键）

HDFS 会打开大量文件和网络连接。

# 查看当前限制
ulimit -n

# 永久修改
vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

重启或重新登录生效。

2. 禁用 swap（强烈建议）

swap 会导致 JVM GC 停顿，严重影响 HDFS 性能。

swapoff -a

永久禁用：

vi /etc/fstab
# 注释 swap 行

3. 关闭透明大页（THP）

对 JVM 和 HDFS 不利。

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

写入开机脚本：

vi /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

4. 磁盘 I/O 调度器

建议：

SSD → noop
HDD → deadline

echo deadline > /sys/block/sda/queue/scheduler

5. 防火墙 & SELinux

测试 / 生产环境建议关闭：

systemctl stop firewalld
systemctl disable firewalld

setenforce 0
vi /etc/selinux/config
SELINUX=disabled

二、JVM 调优（NameNode / DataNode）

1. NameNode JVM

hadoop-env.sh

export HADOOP_NAMENODE_OPTS="-Xms8g -Xmx8g -XX:+UseG1GC"

2. DataNode JVM

export HADOOP_DATANODE_OPTS="-Xms2g -Xmx2g -XX:+UseG1GC"

三、HDFS 核心参数调优（重点）

1. hdfs-site.xml

（1）副本数

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

生产环境通常是 3
测试环境可调成 1 或 2

（2）块大小（非常重要）

<property>
  <name>dfs.blocksize</name>
  <value>256m</value>
</property>

建议：

大文件 / Hive / Spark → 128MB ~ 256MB
小文件多 → 不调大（反而浪费）

（3）DataNode 处理线程数

<property>
  <name>dfs.datanode.handler.count</name>
  <value>64</value>
</property>

（4）NameNode 处理线程数

<property>
  <name>dfs.namenode.handler.count</name>
  <value>64</value>
</property>

（5）同时写入客户端数

<property>
  <name>dfs.datanode.max.transfer.threads</name>
  <value>16384</value>
</property>

（6）数据写入缓冲

<property>
  <name>dfs.datanode.write/packet.size</name>
  <value>65536</value>
</property>

2. core-site.xml

（1）RPC 重试与超时

<property>
  <name>ipc.client.connect.timeout</name>
  <value>60000</value>
</property>

（2）回收站（防止误删）

<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
</property>

四、磁盘与目录结构优化

1. 多块盘挂载

避免所有数据写到一个盘：

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs,/data2/dfs,/data3/dfs</value>
</property>

✅ 每个盘单独挂载
✅ 不要放在系统盘

2. 磁盘挂载参数（fstab）

defaults,noatime,nodiratime

五、网络调优

1. 增加 TCP 缓冲

vi /etc/sysctl.conf

net.core.somaxconn = 4096
net.ipv4.tcp_max_syn_backlog = 8192
net.core.netdev_max_backlog = 16384

sysctl -p

2. 避免hostname 问题

vi /etc/hosts

✅ 必须包含：

<IP> <hostname>

六、常见性能问题排查

问题	原因	解决方法
NameNode 卡顿	JVM GC	调大内存 + G1
DataNode 写入慢	磁盘性能	多盘 + deadline
小文件太多	元数据压力	HDFS Federation / HBase
网络瓶颈	千兆网卡	万兆 + 端口聚合

七、推荐基准配置（中等规模）

组件	内存
NameNode	8–16 GB
DataNode	2–4 GB
块大小	128–256 MB
副本数	3
GC	G1

如果你愿意，可以告诉我：

Hadoop 版本（2.7 / 3.x）
集群规模（几台机器）
主要用途（Hive / Spark / Flink / 小文件）

我可以 直接给你一份生产级 hdfs-site.xml + core-site.xml 配置模板。