在 CentOS 上“设置 HDFS 路径”通常涉及 HDFS 目录结构规划、权限设置、挂载路径(可选)以及配置参数。下面按常见场景给你说明。
HDFS 是分布式文件系统,路径是逻辑路径,不是 Linux 本地路径。
hdfs dfs -ls /
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hadoop
hdfs dfs -chmod 755 /user/hadoop
hdfs dfs -chown hadoop:hadoop /user/hadoop
hdfs dfs -setrep -R 3 /user/hadoop
HDFS 的 实际数据块 存在 CentOS 本地磁盘上,由 hdfs-site.xml 配置。
编辑:
/etc/hadoop/hdfs-site.xml
关键配置:
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hdfs/datanode</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hdfs/namenode</value>
</property>
mkdir -p /data/hdfs/datanode
mkdir -p /data/hdfs/namenode
chown -R hdfs:hdfs /data/hdfs
chmod 700 /data/hdfs
一般用户路径规范:
/user/<username>
例如:
hdfs dfs -mkdir /user/centos
hdfs dfs -chown centos:centos /user/centos
如果你想 像本地目录一样访问 HDFS:
hdfs-fuseyum install hadoop-hdfs-fuse
mount -t hdfs -o namenode:9000 /mnt/hdfs
访问:
ls /mnt/hdfs
| 问题 | 原因 |
|---|---|
| Permission denied | HDFS 用户权限不对 |
| No such file | 路径不存在或未创建 |
| datanode 起不来 | 本地目录权限错误 |
hdfs dfs -mkdir /xxxdfs.datanode.data.dirhdfs dfs -chown / -chmod如果你是指 “某个组件(如 Hive / Spark / Flink)怎么配置 HDFS 路径”,可以告诉我具体场景,我给你针对性配置。