centos怎么装hdfs环境

在 CentOS 上搭建 HDFS（Hadoop 分布式文件系统） 环境，一般步骤如下。下面以 单机伪分布式（Pseudo-Distributed） 为例，适合学习和测试；如果你要的是 完全分布式集群，我也可以单独补充。

一、环境准备

1. 系统要求

• CentOS 7 / 8（推荐 7）
• Java 8（Hadoop 3.x 兼容 Java 8/11）
• 一台机器（伪分布式）或多台（集群）

2. 创建用户（可选但推荐）

useradd hadoop
passwd hadoop

二、安装 Java

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

验证：

java -version

配置环境变量：

vi /etc/profile

添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:$JAVA_HOME/bin

生效：

source /etc/profile

三、下载并安装 Hadoop

1. 下载 Hadoop

cd /opt
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

（版本可自行替换）

2. 解压

tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

3. 配置环境变量

vi /etc/profile

添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

四、配置 HDFS（伪分布式）

1. 修改 hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. 配置 core-site.xml

vi $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. 配置 hdfs-site.xml

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. 配置 SSH 免密登录

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

五、启动 HDFS

1. 格式化 NameNode

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 验证

jps

应看到：

• NameNode
• DataNode
• SecondaryNameNode

Web 界面：

http://localhost:9870

六、测试 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

七、关闭 HDFS

stop-dfs.sh

八、常见问题

1. 端口无法访问

• 关闭防火墙：

systemctl stop firewalld
systemctl disable firewalld

2. Permission denied

• 确保用同一用户启动 Hadoop
• 检查 $HADOOP_HOME 权限

如果你需要：

• ✅ 完全分布式（多台 CentOS）
• ✅ CentOS 8 + Hadoop 3.x
• ✅ 集成 YARN / MapReduce
• ✅ Docker 部署 HDFS

告诉我你的使用场景，我可以给你定制方案。