centos怎样部署hdfs节点

在 CentOS 上部署 HDFS 节点（以 Hadoop 为例，通常包含 NameNode / DataNode），下面给你一套清晰、可操作的步骤，适合单机伪分布式或集群基础部署。

一、环境准备（所有节点）

1. 系统要求

CentOS 7 / 8（推荐 7）
Java 8（Hadoop 3.x 推荐）
多台机器（或单机模拟）

2. 安装 Java

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version

3. 配置主机名和 hosts

hostnamectl set-hostname master   # NameNode
hostnamectl set-hostname slave1  # DataNode

/etc/hosts 示例：

192.168.1.10 master
192.168.1.11 slave1

4. 配置 SSH 免密（NameNode → DataNode）

ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slave1

二、下载并安装 Hadoop

1. 下载 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt
mv /opt/hadoop-3.3.6 /opt/hadoop

2. 配置环境变量

/etc/profile 或 ~/.bashrc：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

三、HDFS 核心配置

配置文件路径：/opt/hadoop/etc/hadoop/

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

3. workers（Hadoop 3 用 workers）

master
slave1

四、启动 HDFS

1. 格式化 NameNode（仅一次）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 检查进程

jps

应看到：

NameNode
DataNode
SecondaryNameNode

五、验证 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

Web UI：

http://master:9870

六、常见问题

1. 端口不通

firewall-cmd --add-port=9870/tcp --permanent
firewall-cmd --add-port=9000/tcp --permanent
firewall-cmd --reload

2. 权限问题

chown -R hadoop:hadoop /opt/hadoop

3. 单机伪分布式

只需 workers 写 localhost

七、总结

✅ CentOS 部署 HDFS 核心步骤：

装 Java
配 SSH
装 Hadoop
改 XML 配置
格式化 + 启动

如果你需要：

YARN 一起部署
完全分布式集群
Docker / K8s 部署
生产环境参数优化

可以直接告诉我你的使用场景。