linux hdfs配置怎么修改

linux

小樊

2026-09-10 12:31:20

栏目: 智能运维

在 Linux 上修改 HDFS 配置，通常是指修改 Hadoop 的配置文件。下面按常见场景给你说明。

一、HDFS 配置文件位置

HDFS 配置主要在 Hadoop 的 etc/hadoop 目录下，例如：

$HADOOP_HOME/etc/hadoop/

常见文件：

hdfs-site.xml ✅（HDFS 核心配置）
core-site.xml ✅（NameNode 地址等）
hadoop-env.sh（环境变量）
workers（旧版 slaves，DataNode 节点列表）

二、常见修改示例

1️⃣ 修改 NameNode 地址（core-site.xml）

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
</configuration>

2️⃣ 修改 HDFS 数据目录（hdfs-site.xml）

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

3️⃣ 修改副本数（默认 3）

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

4️⃣ 修改端口（可选）

<property>
  <name>dfs.namenode.rpc-address</name>
  <value>namenode:9000</value>
</property>

三、修改后必须做的操作

✅ 1. 分发配置（集群环境）

scp hdfs-site.xml core-site.xml user@datanode:/path/hadoop/etc/hadoop/

✅ 2. 重启 HDFS

# 停止
stop-dfs.sh

# 启动
start-dfs.sh

如果是单节点：

hadoop-daemon.sh stop namenode
hadoop-daemon.sh start namenode

四、注意事项（很重要）

⚠️ 修改 NameNode 目录后：

如果是新集群：先格式化

hdfs namenode -format

⚠️ 已有数据集群：

不要随便改 dfs.namenode.name.dir
否则可能导致元数据丢失

五、查看当前配置是否生效

hdfs getconf -confKey dfs.replication

或访问：

http://namenode:9870

如果你能告诉我：

是单机 / 伪分布 / 集群
想改哪一项配置
Hadoop 版本（2.x / 3.x）

我可以给你精确修改方案。