linux hdfs如何调优

在 Linux 上运行 HDFS（Hadoop Distributed File System） 时，调优通常分为 操作系统层、HDFS 参数层、JVM 层、硬件与网络层 四个维度。下面给出一套实用向的调优思路，适合生产环境参考。

一、Linux 操作系统层调优（非常重要）

1. 文件描述符（ulimit）

HDFS 会打开大量文件，必须调大。

# 查看
ulimit -n

# 修改 /etc/security/limits.conf
hdfs   soft   nofile   65536
hdfs   hard   nofile   1048576

2. 内核参数优化（/etc/sysctl.conf）

# 文件句柄
fs.file-max = 1000000

# TCP 优化
net.core.somaxconn = 4096
net.core.netdev_max_backlog = 5000
net.ipv4.tcp_max_syn_backlog = 8192

# TCP 连接复用
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30

# 内存与交换
vm.swappiness = 10
vm.dirty_ratio = 10
vm.dirty_background_ratio = 5

sysctl -p

二、HDFS 核心参数调优（hdfs-site.xml）

1. 块大小（Block Size）

根据文件类型调整：

<property>
  <name>dfs.blocksize</name>
  <value>256m</value>  <!-- 大文件场景 -->
</property>

小文件多：64–128MB
大文件（日志、数仓）：256–512MB

2. 副本数（Replication）

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

生产环境：3
测试/冷数据：2 或 1

3. DataNode 线程数

<property>
  <name>dfs.datanode.handler.count</name>
  <value>20</value>
</property>

<property>
  <name>dfs.namenode.handler.count</name>
  <value>40</value>
</property>

4. 写入与传输优化

<property>
  <name>dfs.datanode.max.transfer.threads</name>
  <value>8192</value>
</property>

<property>
  <name>dfs.client.write.packetsize</name>
  <value>65536</value>
</property>

三、NameNode 与 JVM 调优

1. NameNode 内存

hadoop-env.sh

export HADOOP_NAMENODE_OPTS="-Xms8g -Xmx8g -XX:+UseG1GC"

经验：

1000万文件 ≈ 8–12GB
5000万文件 ≈ 32GB+

2. 垃圾回收（G1 推荐）

-XX:+UseG1GC
-XX:MaxGCPauseMillis=200

四、DataNode 磁盘与 IO 调优

1. 多磁盘均衡

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs,/data2/dfs,/data3/dfs</value>
</property>

2. 磁盘选择策略

<property>
  <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
  <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>

五、网络与机架感知

1. 网卡

万兆网卡（10GbE）
关闭网卡 offload 问题（必要时）

ethtool -K eth0 tso off lro off

2. 机架感知（生产必配）

<property>
  <name>net.topology.script.file.name</name>
  <value>/etc/hadoop/rack-awareness.sh</value>
</property>

六、常见性能问题排查

# HDFS 状态
hdfs dfsadmin -report

# 慢节点
hdfs dfsadmin -metasave /tmp/meta

# DataNode 日志
tail -f /var/log/hadoop-hdfs/hadoop-hdfs-datanode.log

七、典型场景建议

场景	建议
小文件多	合并 / HAR / HBase
写密集	增大 handler、block size
读密集	增加副本、缓存
NameNode 压力大	Federation

如果你能提供：

Hadoop 版本
集群规模（节点数 / 磁盘）
主要业务（实时 / 离线）

我可以给你一套更精准的 HDFS 调优参数模板。