centos怎么配置hdfs

下面以 CentOS 7/8 为例，给你一个**从零配置 HDFS（Hadoop HDFS）**的完整流程，适合单机伪分布式或集群起步。

一、环境准备（CentOS）

1. 关闭防火墙（或放行端口）

systemctl stop firewalld
systemctl disable firewalld

2. 关闭 SELinux

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

3. 安装 JDK（必须）

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

验证：

java -version

二、创建 Hadoop 用户（推荐）

useradd hadoop
passwd hadoop

后续操作建议切换到该用户：

su - hadoop

三、安装 Hadoop

1. 下载 Hadoop

cd /opt
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

2. 配置环境变量

编辑 ~/.bashrc：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

生效：

source ~/.bashrc

四、配置 HDFS（重点）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. 配置 hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. 配置 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

若是集群，把 localhost 换成 namenode 主机名

3. 配置 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

创建目录：

mkdir -p /opt/hadoop/data/namenode
mkdir -p /opt/hadoop/data/datanode

4. 配置 SSH 免密登录（必须）

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

五、格式化 HDFS（只做一次）

hdfs namenode -format

✅ 看到 successfully formatted 表示成功

六、启动 HDFS

start-dfs.sh

检查进程：

jps

应看到：

NameNode
DataNode
SecondaryNameNode

七、验证 HDFS

1. 访问 Web UI

浏览器访问：

http://<centos-ip>:9870

2. 测试 HDFS 命令

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

八、常见问题

1. datanode 启动失败

• 检查 dfs.datanode.data.dir 权限
• 或删除 data 目录重新 format

2. 端口被占用

netstat -tunlp | grep 9000

3. 主机名问题

hostnamectl set-hostname hadoop1

并在 /etc/hosts 中配置：

127.0.0.1 hadoop1

九、下一步你可以做什么

• 配置 YARN
• 搭建 完全分布式 HDFS
• 集成 Hive / Spark

如果你愿意，我可以： ✅ 给你 完全分布式 HDFS 配置 ✅ 给你 生产环境参数优化 ✅ 帮你 排查启动报错日志

直接把你的 CentOS 版本 + Hadoop 版本 + 报错信息 发我即可。