centos在哪配置hdfs

在 CentOS 上，“配置 HDFS”通常指的是 Hadoop 的 HDFS 配置文件，而不是在某个系统级目录里。下面按常见部署方式给你一个清晰说明。

一、HDFS 的核心配置文件位置

HDFS 的配置文件一般在 Hadoop 安装目录的 etc/hadoop/ 下。

常见路径示例

$HADOOP_HOME/etc/hadoop/

例如：

/usr/local/hadoop/etc/hadoop/
/opt/hadoop/etc/hadoop/

主要配置文件

二、关键配置示例

1️⃣ core-site.xml（指定 HDFS 地址）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

生产环境一般不是 localhost，而是 NameNode 主机名或 IP。

2️⃣ hdfs-site.xml（HDFS 核心参数）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/datanode</value>
    </property>
</configuration>

三、CentOS 系统层面的相关配置

1️⃣ 主机名 & hosts（非常重要）

vim /etc/hosts

示例：

192.168.1.10 master
192.168.1.11 slave1
192.168.1.12 slave2

2️⃣ 防火墙（CentOS 7/8）

systemctl stop firewalld
systemctl disable firewalld

或放行 HDFS 端口（如 9000、50010、50070 等）

3️⃣ SSH 免密登录（伪分布式 / 集群必须）

ssh-keygen -t rsa
ssh-copy-id localhost

四、启动 HDFS（配置完成后）

# 格式化 NameNode（只执行一次）
hdfs namenode -format

# 启动 HDFS
start-dfs.sh

验证：

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode

Web UI：

http://<namenode-ip>:9870

五、常见误区

❌ 在 /etc/ 下找 HDFS 配置
✅ HDFS 配置在 Hadoop 自己的配置目录

❌ 改完配置不重启 HDFS
✅ 需要 stop-dfs.sh && start-dfs.sh

六、如果你愿意，我可以帮你

你可以直接告诉我：

• ✅ 伪分布式 还是 完全分布式
• ✅ Hadoop 版本（2.x / 3.x）
• ✅ CentOS 版本（7 / 8 / Stream）

我可以给你一份 可直接用的完整配置模板。