在 CentOS 上配置 HDFS(Hadoop 分布式文件系统),通常步骤是:安装 JDK → 安装 Hadoop → 修改配置文件 → 格式化并启动。下面给你一个最小可用 HDFS 配置示例(单机 / 伪分布式),适合学习和测试。
yum install -y java-1.8.0-openjdk-devel
java -version
useradd hadoop
passwd hadoop
cd /opt
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop
配置环境变量:
vi /etc/profile
添加:
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
所有配置文件在:
$HADOOP_HOME/etc/hadoop/
hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/dfs/data</value>
</property>
</configuration>
workers(Hadoop 3.x)localhost
hdfs namenode -format
start-dfs.sh
jps
应看到:
hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test
Web 页面:
http://<centos-ip>:9870
stop-dfs.sh
如果你需要:
告诉我你的使用场景,我可以直接给你对应配置。