centos中hdfs如何部署

下面以 CentOS 7/8 为例，介绍 HDFS（Hadoop 分布式文件系统） 的部署方式，分为 单机伪分布式 和 完全分布式 两种常见场景。

一、环境准备

1. 系统要求

• CentOS 7/8
• JDK 8（Hadoop 3.x 推荐）
• 静态 IP / 主机名可解析
• 关闭防火墙（或放行端口）

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 禁用 SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

2. 安装 JDK

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

3. 配置主机名与 hosts

hostnamectl set-hostname master

vi /etc/hosts
# 添加
192.168.1.10 master
192.168.1.11 slave1
192.168.1.12 slave2

二、下载并安装 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt
mv /opt/hadoop-3.3.6 /opt/hadoop

配置环境变量

vi /etc/profile
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

三、HDFS 配置（核心）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>  <!-- 伪分布式为1 -->
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/datanode</value>
  </property>
</configuration>

四、伪分布式启动（单节点）

1. 格式化 NameNode

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 验证

jps
# 应看到 NameNode / DataNode / SecondaryNameNode

浏览器访问：

http://master:9870

五、完全分布式（多节点）

1. 修改 hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

2. workers（旧版 slaves）

vi $HADOOP_HOME/etc/hadoop/workers
master
slave1
slave2

3. 配置 SSH 免密

ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

4. 分发 Hadoop

scp -r /opt/hadoop slave1:/opt
scp -r /opt/hadoop slave2:/opt

5. 启动

hdfs namenode -format
start-dfs.sh

六、常用命令

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /
hdfs dfs -cat /test/file.txt

七、常见问题

• Permission denied → 检查 SSH 免密
• NameNode 起不来 → 检查格式化是否成功
• 端口冲突 → 检查 9000 / 9870

如果你需要：

• ✅ Hadoop HA（高可用）
• ✅ YARN 一起部署
• ✅ Docker 部署 HDFS

可以继续告诉我你的使用场景。