在 Linux 上,HDFS 的配置主要通过 Hadoop 的配置文件来设置,而不是在某个单一的“系统设置”里。
HDFS 的配置一般位于 Hadoop 安装目录的 etc/hadoop/ 下,常见路径如:
$HADOOP_HOME/etc/hadoop/
或(如果通过包管理安装):
/etc/hadoop/
HDFS 相关最主要的几个文件是:
| 文件 | 作用 |
|---|---|
hdfs-site.xml |
HDFS 核心配置(副本数、NameNode/DataNode 目录等) |
core-site.xml |
文件系统入口、NameNode 地址 |
hadoop-env.sh |
Java 环境、JVM 参数 |
workers (或 slaves) |
DataNode 节点列表 |
core-site.xml(指定 HDFS 入口)<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
</configuration>
hdfs-site.xml(HDFS 参数)<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/dfs/data</value>
</property>
</configuration>
hdfs namenode -format
start-dfs.sh
hdfs getconf -confKey dfs.replication
http://namenode:9870
(老版本是 50070)
| 安装方式 | 配置路径 |
|---|---|
| 手动安装 | $HADOOP_HOME/etc/hadoop/ |
| CDH | /etc/hadoop/conf/ |
| HDP | /etc/hadoop/conf/ |
| Docker | 容器内 /etc/hadoop/ 或挂载目录 |
如果你愿意,可以告诉我:
我可以直接给你一份可用的配置模板。