温馨提示×

centos如何登录hdfs

小樊
38
2026-08-20 05:39:24
栏目: 智能运维

在 CentOS 上登录(访问)HDFS,通常不是像 SSH 那样“登录”,而是通过 Hadoop 客户端命令Web UI 来操作。下面按常见场景给你说明。


一、前提条件

  1. 已安装 Hadoop(或能访问 Hadoop 客户端)
  2. 已配置 HDFS 环境变量
  3. HDFS 服务已启动
  4. 当前用户有 HDFS 访问权限

二、通过命令行访问 HDFS(最常用)

1️⃣ 配置环境变量(如未配置)

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

路径按你实际安装目录修改


2️⃣ 查看 HDFS 是否可用

hdfs dfs -ls /

如果能看到目录列表,说明已“登录”HDFS。


3️⃣ 常用 HDFS 操作命令

操作 命令
查看目录 hdfs dfs -ls /
创建目录 hdfs dfs -mkdir /test
上传文件 hdfs dfs -put localfile /test/
下载文件 hdfs dfs -get /test/file ./
查看文件 hdfs dfs -cat /test/file
删除文件 hdfs dfs -rm /test/file
删除目录 hdfs dfs -rm -r /test

三、以某个用户身份访问 HDFS(重要)

HDFS 使用 当前系统用户 作为访问用户。

查看当前用户

whoami

以指定用户访问(推荐)

sudo -u hdfs hdfs dfs -ls /

常见用户:

  • hdfs(管理员)
  • yarn
  • 普通业务用户

四、Kerberos 环境下的 HDFS 登录(企业常见)

如果集群启用了 Kerberos,需要先 kinit:

kinit user@REALM

然后执行 HDFS 命令:

hdfs dfs -ls /

查看认证状态:

klist

五、通过 Web UI 登录 HDFS

NameNode Web UI

浏览器访问:

http://namenode-host:9870

Hadoop 3.x 默认端口 9870
Hadoop 2.x 默认端口 50070

可查看:

  • HDFS 文件
  • DataNode 状态
  • 容量使用情况

六、常见问题排查

1️⃣ 报错:Permission denied

Permission denied: user=root, access=WRITE

✅ 解决方式:

  • 使用 sudo -u hdfs
  • 或修改目录权限:
hdfs dfs -chmod 777 /test

2️⃣ 报错:No Route to Host

  • 检查防火墙
systemctl stop firewalld
  • 检查网络是否通 NameNode

3️⃣ 报错:JAVA_HOME not set

export JAVA_HOME=/usr/java/jdk1.8.0_361

七、总结一句话

CentOS 登录 HDFS = 使用 Hadoop 客户端 + 当前系统用户(或 Kerberos)执行 hdfs 命令


如果你愿意,可以告诉我:

  • Hadoop 版本(2.x / 3.x)
  • 是否启用 Kerberos
  • 是单机还是集群

我可以给你更精确的命令 ✅

0