温馨提示×

在哪里修改linux hdfs配置

小樊
46
2026-10-16 06:05:28
栏目: 智能运维

在 Linux 上修改 HDFS 配置,通常是修改 Hadoop 的配置文件,位置取决于你的 Hadoop 安装方式 和 发行版。下面按常见情况说明。


一、最常见的配置文件位置

HDFS 的核心配置文件一般都在:

$HADOOP_HOME/etc/hadoop/

常见文件包括:

  • hdfs-site.xml ✅ HDFS 主要配置
  • core-site.xml ✅ HDFS 入口、NameNode 地址
  • hadoop-env.sh ✅ Java 环境、内存参数
  • mapred-site.xml(MapReduce,非 HDFS 但常一起改)
  • yarn-site.xml(YARN,非 HDFS 但常一起改)

示例:

cd $HADOOP_HOME/etc/hadoop
vi hdfs-site.xml

二、不同安装方式的路径

1️⃣ 手动安装(Apache Hadoop)

/opt/hadoop/etc/hadoop/
# 或
/usr/local/hadoop/etc/hadoop/

2️⃣ CDH / Cloudera

  • 推荐方式:Cloudera Manager 网页修改
  • 手动文件路径(不推荐直接改):
/etc/hadoop/conf/

3️⃣ HDP / Ambari

  • 推荐方式:Ambari 网页修改
  • 手动路径:
/etc/hadoop/conf/

4️⃣ 使用包管理器安装(apt/yum)

/etc/hadoop/conf/

三、常见需要修改的内容示例

1️⃣ 修改 NameNode 地址(core-site.xml)

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

2️⃣ 修改副本数(hdfs-site.xml)

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

3️⃣ 修改 NameNode 目录

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/dfs/name</value>
</property>

四、修改后必须做的操作

1️⃣ 同步配置(集群)

如果是多节点:

scp hdfs-site.xml core-site.xml slave1:$HADOOP_HOME/etc/hadoop/

2️⃣ 重启 HDFS

stop-dfs.sh
start-dfs.sh

或单组件:

hdfs --daemon stop namenode
hdfs --daemon start namenode

五、验证是否生效

hdfs getconf -confKey dfs.replication

或:

hdfs dfsadmin -report

如果你能告诉我:

  • 是 单机 / 伪分布式 / 集群
  • 用的 Apache / CDH / HDP
  • 具体想改 什么配置

我可以直接给你精确路径和示例。

0 踩