Linux HDFS配置参数怎么设

下面从常见、实用的角度，系统说明 Linux 上 HDFS 的配置参数设置，适用于 Hadoop 3.x（2.x 也基本通用）。

一、HDFS 配置文件位置

HDFS 配置主要在 Hadoop 的 etc/hadoop 目录：

$HADOOP_HOME/etc/hadoop/

核心配置文件：

• hdfs-site.xml ✅（HDFS 核心参数）
• core-site.xml ✅（全局基础配置）
• hadoop-env.sh ✅（环境变量）

二、core-site.xml（必须）

示例

<configuration>
    <!-- NameNode URI -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>

    <!-- Hadoop 临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
    </property>
</configuration>

关键说明

三、hdfs-site.xml（重点）

1️⃣ NameNode 配置

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/dfs/name</value>
</property>

<property>
    <name>dfs.namenode.http-address</name>
    <value>namenode:9870</value>
</property>

2️⃣ DataNode 配置

<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dfs/data</value>
</property>

<property>
    <name>dfs.datanode.http-address</name>
    <value>datanode:9864</value>
</property>

3️⃣ 副本数（非常重要）

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

4️⃣ 权限与安全

<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

四、hadoop-env.sh（环境变量）

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

五、workers（旧版 slaves）

datanode1
datanode2
datanode3

六、常见性能 & 生产参数（推荐）

1️⃣ 块大小

<property>
    <name>dfs.blocksize</name>
    <value>128m</value>
</property>

2️⃣ 心跳与超时

<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>

3️⃣ 内存相关（NameNode）

<property>
    <name>dfs.namenode.handler.count</name>
    <value>20</value>
</property>

七、格式化 & 启动

格式化 NameNode（⚠️ 仅第一次）

hdfs namenode -format

启动 HDFS

$HADOOP_HOME/sbin/start-dfs.sh

验证

hdfs dfs -ls /

Web UI：

http://namenode:9870

八、典型生产建议

✅ 磁盘：

• NameNode：SSD
• DataNode：多块 HDD

✅ 目录：

• 不要放在 /tmp
• 使用独立挂载点

✅ 副本数：

• ≥3（生产）
• 测试可设为 1

九、如果你愿意，我可以帮你：

• ✅ 按 单机 / 伪分布 / 完全分布 给配置
• ✅ 针对 大集群 / 小集群 调优
• ✅ 排查 HDFS 起不来 / 50070 无法访问
• ✅ 直接给你 一套完整可复制配置

你可以直接说：

“我要 单机伪分布 HDFS 配置” 或 “生产环境 10 台机器 HDFS 怎么配”