centos怎么优化hdfs性能

在 CentOS 上优化 HDFS（Hadoop Distributed File System）性能，通常可以从 操作系统层、HDFS 参数配置、硬件与网络、以及使用方式 四个方面入手。下面给你一套实用、可落地的优化方案。

一、CentOS 操作系统层优化

1. 关闭或调整 SELinux

# 临时关闭
setenforce 0

# 永久关闭（重启生效）
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

2. 关闭防火墙（或放行端口）

systemctl stop firewalld
systemctl disable firewalld

或只开放 Hadoop 端口（如 8020、50070、50010 等）

3. 调整文件句柄数（非常重要）

HDFS 会打开大量文件：

cat >> /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536
EOF

4. 禁用 swap（避免 GC 抖动）

swapoff -a
# 永久禁用
sed -i '/swap/s/^/#/' /etc/fstab

5. 磁盘 I/O 调度优化

# 查看当前调度
cat /sys/block/sd*/queue/scheduler

# 建议设置为 deadline 或 noop
echo deadline > /sys/block/sda/queue/scheduler

写入 /etc/rc.local 保证重启生效。

二、HDFS 核心参数优化（hdfs-site.xml）

1. 块大小（Block Size）

大文件场景：

<property>
  <name>dfs.blocksize</name>
  <value>256m</value>
</property>

2. 副本数（Replication）

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

性能优先可降低为 2，可靠性优先保持 3

3. NameNode 内存优化

<property>
  <name>dfs.namenode.handler.count</name>
  <value>40</value>
</property>

4. DataNode 并发与线程数

<property>
  <name>dfs.datanode.handler.count</name>
  <value>20</value>
</property>

<property>
  <name>dfs.datanode.max.transfer.threads</name>
  <value>8192</value>
</property>

三、网络与磁盘优化

1. 使用万兆网卡（推荐）

HDFS 对网络带宽非常敏感。

2. 多磁盘挂载 DataNode 数据目录

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs,/data2/dfs,/data3/dfs</value>
</property>

3. 使用独立磁盘，不做 RAID5

✅ 推荐：JBOD
❌ 不推荐：RAID5（写放大严重）

4. 文件系统建议使用 XFS

mkfs.xfs /dev/sdb

四、JVM 与垃圾回收优化

NameNode

export HADOOP_NAMENODE_OPTS="-Xmx8g -XX:+UseG1GC"

DataNode

export HADOOP_DATANODE_OPTS="-Xmx4g -XX:+UseG1GC"

五、写入 / 读取性能优化建议

1. 客户端写入

<property>
  <name>dfs.client.write.packet.size</name>
  <value>65536</value>
</property>

2. 短路读（Short-Circuit Read）

<property>
  <name>dfs.client.read.shortcircuit</name>
  <value>true</value>
</property>

3. 避免小文件

小文件会拖垮 NameNode
使用 HAR / HBase / SequenceFile 合并

六、监控与调优工具

hdfs dfsadmin -report
NameNode Web UI（50070）
iostat -x 1
dstat
Hadoop Metrics + Prometheus

七、典型优化效果场景

场景	优化点
写入慢	多磁盘 + 大 block + 网络
读取慢	短路读 + 副本均衡
NameNode 卡	增加内存 + 小文件治理
DataNode 忙	提高 handler / transfer threads

如果你愿意，可以告诉我：

Hadoop 版本（2.x / 3.x）
集群规模（几台机器）
主要用途（离线 / 实时 / 大文件 / 小文件）

我可以给你一套针对性配置模板。