温馨提示×

centos怎么写hdfs配置

小樊
46
2026-09-15 14:47:18
栏目: 智能运维

在 CentOS 上配置 HDFS(Hadoop 分布式文件系统),通常步骤是:安装 JDK → 安装 Hadoop → 修改配置文件 → 格式化并启动。下面给你一个最小可用 HDFS 配置示例(单机 / 伪分布式),适合学习和测试。


一、环境准备

1. 安装 JDK

yum install -y java-1.8.0-openjdk-devel
java -version

2. 创建用户(可选但推荐)

useradd hadoop
passwd hadoop

二、下载并安装 Hadoop

cd /opt
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 hadoop

配置环境变量:

vi /etc/profile

添加:

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

三、HDFS 核心配置文件(重点)

所有配置文件在:

$HADOOP_HOME/etc/hadoop/

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/dfs/data</value>
  </property>
</configuration>

4. workers(Hadoop 3.x)

localhost

四、格式化并启动 HDFS

1. 格式化 NameNode

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 检查进程

jps

应看到:

  • NameNode
  • DataNode
  • SecondaryNameNode

五、验证 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put /etc/hosts /test
hdfs dfs -ls /test

Web 页面:

http://<centos-ip>:9870

六、关闭 HDFS

stop-dfs.sh

如果你需要:

  • 完全分布式(多台 CentOS)
  • HDFS + YARN
  • 生产环境参数优化
  • CentOS 7 / 8 / Stream 差异

告诉我你的使用场景,我可以直接给你对应配置。

0 踩