centos hdfs内存怎么设

在 CentOS 上配置 HDFS 内存，通常是指调整 Hadoop 各进程（NameNode / DataNode / SecondaryNameNode 等）的 JVM 堆内存，而不是操作系统层面的内存。下面按常见场景说明。

一、HDFS 内存配置核心文件

主要配置文件在：

$HADOOP_HOME/etc/hadoop/

关键文件：

• hadoop-env.sh
• hdfs-site.xml（少量相关）
• yarn-site.xml（如果是 YARN + HDFS）

二、NameNode 内存设置（最重要）

1️⃣ 修改 hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

设置 NameNode 堆内存：

export HADOOP_NAMENODE_OPTS="-Xms4g -Xmx4g"

示例：

• 小集群：-Xms2g -Xmx2g
• 中大型：-Xms8g -Xmx8g

⚠️ NameNode 内存 ≈ 元数据总量
经验值：
1GB 内存 ≈ 100万文件/块

三、DataNode 内存设置

export HADOOP_DATANODE_OPTS="-Xms2g -Xmx2g"

一般 DataNode 不需要太大内存（2–4G 足够）

四、SecondaryNameNode（如有）

export HADOOP_SECONDARYNAMENODE_OPTS="-Xms2g -Xmx2g"

五、Hadoop 通用 JVM 参数（可选）

export HADOOP_OPTS="-Xmx2g"

六、CentOS 系统层面注意事项

1️⃣ 查看内存

free -h

2️⃣ 确保 swap 不影响 Hadoop

建议：

sysctl vm.swappiness=10

3️⃣ 防火墙 & SELinux（不影响内存但常见坑）

systemctl stop firewalld
setenforce 0

七、修改后生效

stop-dfs.sh
start-dfs.sh

查看进程内存：

jps
ps -aux | grep NameNode

八、常见推荐配置（参考）

如果你愿意，可以告诉我：

• Hadoop 版本（2.x / 3.x）
• 集群规模（几台机器、多少文件）
• 是否用 YARN

我可以给你一套精准配置方案。