centos hdfs如何优化

在 CentOS 上优化 HDFS（Hadoop Distributed File System），通常从 操作系统、Hadoop 参数、硬件、集群架构 几个层面入手。下面给你一套实战型优化清单，适用于生产环境。

一、CentOS 系统层优化（非常重要）

1. 关闭或优化 swap

HDFS 对延迟敏感，swap 会导致性能严重下降。

# 临时关闭
swapoff -a

# 永久关闭（注释 /etc/fstab 中的 swap 行）

建议：

vm.swappiness = 1

vim /etc/sysctl.conf
sysctl -p

2. 文件系统优化（推荐 XFS）

mkfs.xfs /dev/sdb

挂载参数（推荐）：

mount -o noatime,nodiratime /dev/sdb /data

/etc/fstab 示例：

/dev/sdb /data xfs noatime,nodiratime 0 0

3. 文件句柄 & 进程数限制

vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

4. 网络参数优化

vim /etc/sysctl.conf

net.core.somaxconn = 4096
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.core.netdev_max_backlog = 8192

sysctl -p

二、HDFS 核心参数优化（hdfs-site.xml）

1. 块大小（Block Size）

适合大文件场景：

<property>
  <name>dfs.blocksize</name>
  <value>256m</value>
</property>

默认 128MB，大文件可 256MB / 512MB

2. 副本数（Replication）

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

生产环境一般 3，测试环境可 2 或 1

3. NameNode 内存优化

<property>
  <name>dfs.namenode.handler.count</name>
  <value>64</value>
</property>

建议：

• 节点多 → 128
• 并发高 → 提升该值

4. DataNode 线程数

<property>
  <name>dfs.datanode.handler.count</name>
  <value>32</value>
</property>

5. 心跳与超时

<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
</property>

<property>
  <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
  <value>false</value>
</property>

三、YARN + HDFS 联动优化（常见瓶颈）

1. 避免磁盘争用

• HDFS 数据盘 不要和 OS / logs 混用
• 多块盘做 JBOD，不要 RAID

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs,/data2/dfs,/data3/dfs</value>
</property>

2. DataNode 最大传输线程

<property>
  <name>dfs.datanode.max.transfer.threads</name>
  <value>8192</value>
</property>

四、JVM 参数优化（NameNode / DataNode）

NameNode JVM（示例 64G 内存）

export HADOOP_NAMENODE_OPTS="-Xms32g -Xmx32g -XX:+UseG1GC"

DataNode（一般 8–16G）

export HADOOP_DATANODE_OPTS="-Xms8g -Xmx8g -XX:+UseG1GC"

五、读写性能优化建议

1. 客户端写入优化

<property>
  <name>dfs.client.write.packet.size</name>
  <value>65536</value>
</property>

2. 读优化

<property>
  <name>dfs.client.read.shortcircuit</name>
  <value>true</value>
</property>

需要：

• HDFS 短路读
• libhadoop.so

六、监控与验证

1. HDFS 状态

hdfs dfsadmin -report

2. 查看慢节点

hdfs dfsadmin -report | grep -i under

3. 常见指标

• Pending replication
• Under-replicated blocks
• Corrupt blocks

七、典型优化组合（推荐）

八、如果你愿意，我可以：

• ✅ 根据你的 集群规模（几台机器 / 磁盘 / 内存） 给出精确参数
• ✅ 帮你排查 HDFS 慢 / 卡 / 丢块
• ✅ 给你一份 生产级 hdfs-site.xml 模板

你可以直接告诉我：

“我的是 5 台 CentOS 7，每台 64G 内存，12 块盘”