温馨提示×

linux hdfs配置在哪设置

小樊
37
2026-09-16 17:26:11
栏目: 智能运维

在 Linux 上,HDFS 的配置主要通过 Hadoop 的配置文件来设置,而不是在某个单一的“系统设置”里。


一、HDFS 配置文件在哪里?

HDFS 的配置一般位于 Hadoop 安装目录的 etc/hadoop/ 下,常见路径如:

$HADOOP_HOME/etc/hadoop/

或(如果通过包管理安装):

/etc/hadoop/

核心配置文件

HDFS 相关最主要的几个文件是:

文件 作用
hdfs-site.xml HDFS 核心配置(副本数、NameNode/DataNode 目录等)
core-site.xml 文件系统入口、NameNode 地址
hadoop-env.sh Java 环境、JVM 参数
workers (或 slaves) DataNode 节点列表

二、最常见的 HDFS 配置示例

1️⃣ core-site.xml(指定 HDFS 入口)

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
</configuration>

2️⃣ hdfs-site.xml(HDFS 参数)

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/dfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/dfs/data</value>
  </property>
</configuration>

三、修改配置后如何生效?

  1. 修改配置文件
  2. 格式化 NameNode(仅第一次)
hdfs namenode -format
  1. 启动 HDFS
start-dfs.sh

四、查看当前 HDFS 配置

命令行查看

hdfs getconf -confKey dfs.replication

Web UI 查看

  • NameNode Web:
http://namenode:9870

(老版本是 50070


五、不同安装方式的配置位置

安装方式 配置路径
手动安装 $HADOOP_HOME/etc/hadoop/
CDH /etc/hadoop/conf/
HDP /etc/hadoop/conf/
Docker 容器内 /etc/hadoop/ 或挂载目录

如果你愿意,可以告诉我:

  • ✅ 你是 单机 / 伪分布式 / 集群
  • ✅ Hadoop 版本(2.x / 3.x)
  • ✅ 用的是什么发行版(Apache / CDH / HDP)

我可以直接给你一份可用的配置模板

0