怎么设置Linux HDFS参数

在 Linux 上设置 HDFS（Hadoop Distributed File System）参数，主要通过修改 Hadoop 的配置文件来完成。下面按常见场景 + 关键参数给你一个完整说明。

一、HDFS 参数配置文件位置

Hadoop 的配置文件一般在：

$HADOOP_HOME/etc/hadoop/

常见文件包括：

文件	作用
`hdfs-site.xml`	HDFS 核心参数
`core-site.xml`	通用 Hadoop 参数（如 NameNode 地址）
`hadoop-env.sh`	JVM、环境变量
`yarn-site.xml`	YARN 相关（非 HDFS，但常一起用）

二、最常用 HDFS 参数（hdfs-site.xml）

1️⃣ 设置 NameNode 和 DataNode 目录

<configuration>

  <!-- NameNode 元数据存储目录 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/dfs/name</value>
  </property>

  <!-- DataNode 数据存储目录 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/dfs/data</value>
  </property>

</configuration>

✅ 建议：

多块磁盘用逗号分隔

<value>/data1/dfs/data,/data2/dfs/data</value>

2️⃣ 设置副本数（非常重要）

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

默认是 3
测试环境可设为 1

3️⃣ 设置块大小（HDFS Block Size）

<property>
  <name>dfs.blocksize</name>
  <value>134217728</value> <!-- 128MB -->
</property>

常见值：

128MB（默认）
256MB（大文件场景）

4️⃣ 设置 NameNode RPC 地址

<property>
  <name>dfs.namenode.rpc-address</name>
  <value>namenode:9000</value>
</property>

5️⃣ 设置 HTTP Web UI 端口

<property>
  <name>dfs.namenode.http-address</name>
  <value>namenode:9870</value>
</property>

三、core-site.xml（必须配置）

<configuration>

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>

</configuration>

✅ 这是 HDFS 的入口地址

四、设置 JVM 内存（hadoop-env.sh）

export HADOOP_HEAPSIZE=2048

或：

export HADOOP_NAMENODE_OPTS="-Xmx2g"
export HADOOP_DATANODE_OPTS="-Xmx2g"

五、修改参数后如何生效？

✅ 1. 分发配置（集群环境）

scp hdfs-site.xml core-site.xml slave1:$HADOOP_HOME/etc/hadoop/
scp hdfs-site.xml core-site.xml slave2:$HADOOP_HOME/etc/hadoop/

✅ 2. 重启 HDFS

stop-dfs.sh
start-dfs.sh

或单独重启：

hdfs --daemon stop namenode
hdfs --daemon start namenode

六、验证参数是否生效

查看 NameNode 状态

hdfs dfsadmin -report

查看当前配置

hdfs getconf -confKey dfs.replication

七、常见调优参数（进阶）

参数	说明
`dfs.datanode.max.transfer.threads`	提高并发
`dfs.namenode.handler.count`	NameNode RPC 线程数
`dfs.datanode.directoryscan.interval`	磁盘扫描间隔
`dfs.blocksize`	大文件调大

八、典型错误

❌ 改了配置但没重启
❌ 目录权限不对

chown -R hadoop:hadoop /data/hadoop

❌ 配置文件 XML 格式错误

九、我可以继续帮你

你可以告诉我：

✅ 单机 / 集群？
✅ Hadoop 版本？
✅ 想调什么（性能 / 稳定 / 磁盘 / 副本）？

我可以给你一份针对你环境的 HDFS 参数模板。