centos怎样集成hdfs

在 CentOS 上“集成 HDFS”通常指 把 CentOS 作为 HDFS 客户端或集群节点，接入已有 HDFS 集群，或自建 HDFS 集群。下面按常见场景分步说明。

一、作为 HDFS 客户端（最常用）

适用：在 CentOS 上用 hdfs dfs 命令、Java/Scala/Python 访问 HDFS

1. 安装 JDK

yum install -y java-1.8.0-openjdk-devel
java -version

2. 下载 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt
ln -s /opt/hadoop-3.3.6 /opt/hadoop

3. 配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4. 配置 HDFS 地址

编辑：

vi $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode-host:9000</value>
  </property>
</configuration>

5. 测试访问

hdfs dfs -ls /
hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test

二、CentOS 作为 HDFS 节点（加入集群）

适用：把 CentOS 机器作为 DataNode / NameNode

1. 主机名 & hosts

hostnamectl set-hostname datanode1
vi /etc/hosts

10.0.0.10 namenode
10.0.0.11 datanode1

2. 配置 SSH 免密

ssh-keygen
ssh-copy-id namenode

3. 配置 hdfs-site.xml

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hdfs/dn</value>
</property>

4. 启动 DataNode

hdfs --daemon start datanode

三、CentOS 自建 HDFS 集群（单机/伪分布式）

1. 格式化 NameNode

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 验证

jps
# NameNode / DataNode / SecondaryNameNode

浏览器访问：

http://localhost:9870

四、常见问题

1. 端口不通

firewall-cmd --add-port=9000/tcp --permanent
firewall-cmd --reload

2. 权限错误

export HADOOP_USER_NAME=hdfs

3. 时间不同步

yum install -y ntp
systemctl enable ntpd

五、总结

如果你能说明：

• 是 访问已有 HDFS 还是 搭建新集群
• CentOS 版本（7 / 8 / Stream）
• Hadoop 版本

我可以给你 更精确的配置示例。