温馨提示×

centos如何登录hdfs

小樊
56
2026-08-20 05:39:24
栏目: 智能运维

在 CentOS 上登录(访问)HDFS,通常不是像 SSH 那样“登录”,而是通过 Hadoop 客户端命令 或 Web UI 来操作。下面按常见场景给你说明。


一、前提条件

  1. 已安装 Hadoop(或能访问 Hadoop 客户端)
  2. 已配置 HDFS 环境变量
  3. HDFS 服务已启动
  4. 当前用户有 HDFS 访问权限

二、通过命令行访问 HDFS(最常用)

1️⃣ 配置环境变量(如未配置)

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

路径按你实际安装目录修改


2️⃣ 查看 HDFS 是否可用

hdfs dfs -ls /

如果能看到目录列表,说明已“登录”HDFS。


3️⃣ 常用 HDFS 操作命令

操作 命令
查看目录 hdfs dfs -ls /
创建目录 hdfs dfs -mkdir /test
上传文件 hdfs dfs -put localfile /test/
下载文件 hdfs dfs -get /test/file ./
查看文件 hdfs dfs -cat /test/file
删除文件 hdfs dfs -rm /test/file
删除目录 hdfs dfs -rm -r /test

三、以某个用户身份访问 HDFS(重要)

HDFS 使用 当前系统用户 作为访问用户。

查看当前用户

whoami

以指定用户访问(推荐)

sudo -u hdfs hdfs dfs -ls /

常见用户:

  • hdfs(管理员)
  • yarn
  • 普通业务用户

四、Kerberos 环境下的 HDFS 登录(企业常见)

如果集群启用了 Kerberos,需要先 kinit:

kinit user@REALM

然后执行 HDFS 命令:

hdfs dfs -ls /

查看认证状态:

klist

五、通过 Web UI 登录 HDFS

NameNode Web UI

浏览器访问:

http://namenode-host:9870

Hadoop 3.x 默认端口 9870
Hadoop 2.x 默认端口 50070

可查看:

  • HDFS 文件
  • DataNode 状态
  • 容量使用情况

六、常见问题排查

1️⃣ 报错:Permission denied

Permission denied: user=root, access=WRITE

✅ 解决方式:

  • 使用 sudo -u hdfs
  • 或修改目录权限:
hdfs dfs -chmod 777 /test

2️⃣ 报错:No Route to Host

  • 检查防火墙
systemctl stop firewalld
  • 检查网络是否通 NameNode

3️⃣ 报错:JAVA_HOME not set

export JAVA_HOME=/usr/java/jdk1.8.0_361

七、总结一句话

CentOS 登录 HDFS = 使用 Hadoop 客户端 + 当前系统用户(或 Kerberos)执行 hdfs 命令


如果你愿意,可以告诉我:

  • Hadoop 版本(2.x / 3.x)
  • 是否启用 Kerberos
  • 是单机还是集群

我可以给你更精确的命令 ✅

0 踩