centos为何hdfs读写慢

在 CentOS 上遇到 HDFS 读写慢，通常不是单一原因，而是系统、网络、HDFS 配置、硬件多方面叠加。下面按常见原因和排查思路系统说明。

一、网络相关（最常见）

1. 网卡速率/双工模式异常

CentOS 默认可能协商成 100Mbps 或半双工。

ethtool eth0

重点看：

Speed: 1000Mb/s
Duplex: Full

解决

ethtool -s eth0 speed 1000 duplex full autoneg off

2. 防火墙 / SELinux

CentOS 默认：

firewalld 开启
SELinux 开启

会严重影响 HDFS 数据传输。

systemctl stop firewalld
setenforce 0

永久关闭：

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

3. MTU / 巨帧未开启

HDFS 大块传输受益 MTU=9000。

ip link show

若交换机支持：

ifconfig eth0 mtu 9000

二、磁盘 IO 问题

1. 磁盘调度算法

CentOS 默认 mq-deadline 或 cfq，对 HDD 不友好。

cat /sys/block/sda/queue/scheduler

2. 磁盘健康 & RAID

iostat -x 1
smartctl -a /dev/sda

常见问题：

RAID 卡无电池（Write Through）
磁盘坏道
单盘 HDFS（不推荐）

3. HDFS 数据盘未隔离

系统盘 & 数据盘混用
日志写系统盘

三、HDFS 配置问题

1. 副本数过高

dfs.replication=3

写入慢时：

临时降到 2 测试

2. 块大小过小

dfs.blocksize=134217728  # 128M

小文件极多 → NameNode + IO 压力巨大

3. 客户端线程数低

dfs.client.write.packetsize
dfs.client.read.threads

4. Short-Circuit Read 未开

CentOS 本地读未开启会走网络。

dfs.client.read.shortcircuit=true

并确保：

mount | grep /dfs

四、系统参数问题（CentOS 特有）

1. 文件句柄数太低

ulimit -n

HDFS 推荐：

* soft nofile 65536
* hard nofile 65536

2. TCP 参数未优化

sysctl -w net.core.rmem_max=16777216
sysctl -w net.ipv4.tcp_window_scaling=1

3. 透明大页（THP）

cat /sys/kernel/mm/transparent_hugepage/enabled

建议：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

五、JVM & GC

Heap 太小 → Full GC 频繁
GC 日志未开 → 难定位

jstat -gcutil <pid> 1000

六、快速定位清单（实战）

# 网络
ethtool eth0
iperf -c datanode

# IO
iostat -x 1
dstat

# HDFS
hdfs dfs -put /tmp/bigfile /
hdfs dfs -get /testfile /tmp/

# 系统
top
free -m

七、最常见结论（80% 情况）

✅ 网卡不是千兆全双工
✅ 防火墙 / SELinux 没关
✅ 磁盘调度不对
✅ 副本数过高
✅ Short-Circuit 没开

如果你愿意，可以告诉我：

CentOS 版本
HDFS 版本
集群规模
是 读慢还是写慢
单机还是集群

我可以直接给你一套针对性调优参数。