CentOS如何优化HDFS

在 CentOS 上优化 HDFS（Hadoop Distributed File System），通常从 系统层、JVM、HDFS 参数、磁盘与网络、业务使用方式 几个层面入手。下面给你一套可直接落地的优化思路，适用于生产环境。

一、CentOS 系统层优化（基础但关键）

1. 关闭 swap（非常重要）

Hadoop 不推荐用 swap，否则会导致 JVM GC 变慢甚至节点假死。

# 临时关闭
swapoff -a

# 永久关闭（注释 swap 行）
vim /etc/fstab

2. 调整文件描述符限制

HDFS 会打开大量文件。

vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

验证：

ulimit -n

3. 内核参数优化

vim /etc/sysctl.conf

常用优化项：

vm.swappiness = 0
net.core.somaxconn = 4096
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_tw_reuse = 1

生效：

sysctl -p

4. 磁盘调度策略（推荐 deadline / noop）

cat /sys/block/sda/queue/scheduler

临时修改：

echo deadline > /sys/block/sda/queue/scheduler

二、JVM 优化（NameNode / DataNode）

1. NameNode JVM

export HADOOP_NAMENODE_OPTS="-Xms8g -Xmx8g -XX:+UseG1GC"

2. DataNode JVM

export HADOOP_DATANODE_OPTS="-Xms2g -Xmx2g -XX:+UseG1GC"

建议

NameNode：内存 ≥ 8G（大集群更多）
不用 CMS，用 G1GC
避免频繁 Full GC

三、HDFS 核心参数优化（hdfs-site.xml）

1. 块大小（Block Size）

适合大文件场景：

<property>
  <name>dfs.blocksize</name>
  <value>268435456</value> <!-- 256MB -->
</property>

小文件非常多时，反而要小一点（如 64MB）。

2. 副本数

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

生产环境推荐 3，不要盲目提高。

3. DataNode 并发处理

<property>
  <name>dfs.datanode.max.transfer.threads</name>
  <value>8192</value>
</property>

4. NameNode 处理线程数

<property>
  <name>dfs.namenode.handler.count</name>
  <value>64</value>
</property>

5. 心跳与超时

<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
</property>

<property>
  <name>dfs.namenode.heartbeat.recheck-interval</name>
  <value>300000</value>
</property>

四、磁盘与 I/O 优化

1. 多磁盘挂载 DataNode

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs,/data2/dfs,/data3/dfs</value>
</property>

✅ 每个磁盘单独挂载
✅ 不要 RAID（HDFS 自己做冗余）

2. 启用本地短期存储（可选）

<property>
  <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
  <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>

五、网络优化

1. 关闭 IPv6（避免 Hadoop 走 IPv6）

vim /etc/sysctl.conf

net.ipv6.conf.all.disable_ipv6 = 1

2. 建议网络环境

千兆起步，万兆最佳
NameNode 与 DataNode 网络稳定
防火墙规则不要频繁变动

六、HDFS 使用方式优化（非常重要）

1. 避免大量小文件

小文件合并（HAR / HBase / Hive）
使用 HDFS Federation

2. 避免频繁 rename / ls 大目录

HDFS 对：

rename
hdfs dfs -ls /bigdir

性能不友好。

3. 合理设置客户端并行度

hdfs dfs -Ddfs.blocksize=268435456 -put

七、监控与压测

1. 监控指标

NameNode Heap
DataNode I/O Wait
网络吞吐
RPC 队列长度

工具：

Prometheus + Grafana
Ambari / Cloudera Manager

2. 压测命令

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO \
-write -nrFiles 10 -fileSize 128MB

八、典型推荐配置（示例）

节点类型	CPU	内存	磁盘
NameNode	8+	16G+	SSD
DataNode	8+	8G+	多块 HDD

总结一句话

CentOS 上优化 HDFS = 系统稳定 + JVM 合理 + 参数匹配业务 + 磁盘多块 + 减少小文件

如果你愿意，可以告诉我：

Hadoop 版本（2.x / 3.x）
集群规模（几台）
主要用途（Hive / Spark / HBase）

我可以帮你 给出一份针对你场景的 HDFS 优化配置。