温馨提示×

centos hdfs如何设路径

小樊
47
2026-10-20 23:19:03
栏目: 智能运维

在 CentOS 上配置 HDFS 路径,通常涉及 HDFS 目录路径 和 本地文件路径(配置中用到) 两种情况。下面按常见使用场景说明。


一、HDFS 中的路径(HDFS 内部路径)

HDFS 路径与 Linux 本地路径不同,格式一般是:

hdfs://<namenode>:<port>/path

例如:

hdfs://localhost:9000/user/hadoop

1. 查看 HDFS 路径

hdfs dfs -ls /
hdfs dfs -ls /user/hadoop

2. 创建 HDFS 路径

hdfs dfs -mkdir -p /user/hadoop/input

3. 上传文件到 HDFS 路径

hdfs dfs -put localfile.txt /user/hadoop/input/

4. 设置 HDFS 路径权限

hdfs dfs -chmod 755 /user/hadoop
hdfs dfs -chown hadoop:hadoop /user/hadoop

二、CentOS 本地路径(Hadoop 配置中用到的路径)

在 hdfs-site.xml 等配置文件中,使用的是 CentOS 本地绝对路径。

1. NameNode 数据目录

hdfs-site.xml

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/namenode</value>
</property>

2. DataNode 数据目录

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hadoop/datanode</value>
</property>

⚠️ 注意:

  • 路径必须是 CentOS 实际存在的目录
  • 所有者应为 Hadoop 运行用户(如 hadoop)
mkdir -p /data/hadoop/namenode
chown -R hadoop:hadoop /data/hadoop

三、Hadoop 环境变量路径(CentOS)

1. 配置 HADOOP_HOME

vi /etc/profile

添加:

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效:

source /etc/profile

四、默认 HDFS 根路径说明

如果你在命令中只写:

hdfs dfs -ls /user

实际等价于:

hdfs://<namenode>:<port>/user

在 core-site.xml 中定义:

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

五、常见错误

❌ 路径不存在

mkdir: cannot create directory

解决:

mkdir -p 路径
chown hadoop:hadoop 路径

❌ 权限不足

Permission denied

解决:

hdfs dfs -chmod 777 /user/hadoop

如果你是指:

  • HDFS 安装路径
  • Hadoop 数据存放路径
  • 某个具体组件(如 YARN / Hive)路径

可以告诉我具体场景,我可以给你更精确的配置示例。

0 踩