centos怎样连接hdfs集群

在 CentOS 上连接 HDFS 集群，通常有以下几种常见方式，取决于你是以客户端方式访问，还是把 CentOS 作为集群节点。

下面按最常用场景来说明。

一、CentOS 作为 HDFS 客户端（最常见）

1️⃣ 安装 Java（HDFS 依赖）

java -version

如果没有：

yum install -y java-1.8.0-openjdk

2️⃣ 下载并解压 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

3️⃣ 配置环境变量

vi ~/.bashrc

添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使生效：

source ~/.bashrc

4️⃣ 配置 core-site.xml

编辑：

vi $HADOOP_HOME/etc/hadoop/core-site.xml

示例（连接已有 HDFS 集群）：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode-host:9000</value>
  </property>
</configuration>

⚠️ namenode-host 替换为你的 NameNode 主机名或 IP
端口通常是 9000 或 8020

5️⃣ 测试连接 HDFS

hdfs dfs -ls /

如果能列出目录，说明连接成功 ✅

6️⃣ 常用命令

hdfs dfs -put file.txt /
hdfs dfs -get /file.txt ./
hdfs dfs -mkdir /test
hdfs dfs -rm /file.txt

二、使用 Kerberos 安全集群（企业常见）

如果 HDFS 开启了 Kerberos：

kinit user@REALM

然后执行 HDFS 命令即可。

三、CentOS 作为 HDFS 集群节点（DataNode / Client Node）

如果你是要加入集群：

1. 安装相同版本的 Hadoop
2. 拷贝集群的：
   • core-site.xml
   • hdfs-site.xml
3. 配置：
   • workers
   • 主机名解析（/etc/hosts）
4. 启动：

hdfs --daemon start datanode

四、常见问题排查

❌ 连接超时

• 检查防火墙

systemctl stop firewalld

• 检查 NameNode 端口是否通

telnet namenode-host 9000

❌ 主机名无法解析

vi /etc/hosts

添加：

192.168.1.10 namenode-host

五、总结

✅ 普通使用

装 Hadoop Client → 配 core-site.xml → hdfs dfs 命令

✅ 安全集群

加 Kerberos

✅ 集群节点

同步配置 + 启动服务

如果你愿意，可以告诉我：

• HDFS 版本
• 是否开启 Kerberos
• NameNode 地址和端口

我可以给你精确到配置的示例。