HDFS如何适配CentOS

HDFS（Hadoop Distributed File System）本身并不依赖特定 Linux 发行版，只要系统满足 Java、网络、权限等基本要求，就可以在 CentOS 上运行。下面从安装、配置、适配与常见问题几个方面说明 HDFS 如何适配 CentOS。

一、CentOS 环境准备（适配前提）

1. 系统版本建议

• ✅ CentOS 7.x（推荐）
• ⚠️ CentOS 8 已 EOL，不建议新部署
• ✅ Rocky / AlmaLinux 可替代 CentOS

2. 基础环境

# 查看系统
cat /etc/centos-release

# 关闭防火墙（测试环境）
systemctl stop firewalld
systemctl disable firewalld

# 关闭 SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

二、Java 环境适配（关键）

HDFS 强依赖 JDK

1. 安装 JDK（推荐 JDK 8）

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

2. 验证

java -version

3. 设置 JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

写入：

vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

三、Hadoop 安装与 HDFS 适配

1. 下载 Hadoop（示例 3.3.x）

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt/

2. 配置环境变量

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

四、HDFS 核心配置（CentOS 适配重点）

1. hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

创建目录：

mkdir -p /data/hadoop/namenode
mkdir -p /data/hadoop/datanode

五、CentOS 特有适配点

1. 主机名与 hosts

hostnamectl set-hostname hadoop1

vi /etc/hosts

127.0.0.1   localhost
192.168.1.10 hadoop1

2. 用户权限（强烈建议）

useradd hadoop
passwd hadoop
chown -R hadoop:hadoop /opt/hadoop-3.3.6
chown -R hadoop:hadoop /data/hadoop

3. SSH 免密登录（伪分布式必须）

su - hadoop
ssh-keygen -t rsa
ssh-copy-id hadoop1

六、启动 HDFS

1. 格式化 NameNode

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 验证

jps

应看到：

NameNode
DataNode
SecondaryNameNode

Web UI：

http://<IP>:9870

七、CentOS 常见问题与解决

1. 端口无法访问

• 检查防火墙
• HDFS 3.x 使用 9870，不是 50070

2. 权限问题

chmod -R 755 /data/hadoop

3. Java 找不到

echo $JAVA_HOME

确认 hadoop-env.sh 中设置正确

八、总结一句话

HDFS 适配 CentOS 的核心在于：Java 环境、权限、主机名、防火墙和 Hadoop 配置的正确匹配，而不是 Hadoop 本身需要特殊适配。

如果你需要：

• ✅ CentOS 7 完全部署脚本
• ✅ HDFS + YARN 集群模式
• ✅ 生产环境参数优化

可以直接告诉我你的使用场景。