温馨提示×

centos怎样设置hdfs

小樊
49
2026-09-21 16:17:59
栏目: 智能运维

在 CentOS 上配置 HDFS(Hadoop 分布式文件系统),通常步骤包括:安装 JDK、安装 Hadoop、配置环境变量、修改 Hadoop 配置文件、格式化 NameNode 并启动。下面以 单节点(伪分布式) 为例说明,适合学习和测试;如果你要搭建完全分布式集群,我也可以单独说。


一、环境准备

1. 系统要求

  • CentOS 7 / 8
  • 已创建普通用户(如 hadoop),不建议用 root 运行
  • 静态 IP(集群环境)

2. 关闭防火墙(测试环境)

systemctl stop firewalld
systemctl disable firewalld

3. 安装 JDK

yum install -y java-1.8.0-openjdk-devel
java -version

二、创建用户(可选但推荐)

useradd hadoop
passwd hadoop
su - hadoop

三、下载并安装 Hadoop

cd /opt
sudo wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
sudo tar -zxvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 hadoop
sudo chown -R hadoop:hadoop /opt/hadoop

四、配置环境变量

编辑 ~/.bashrc(hadoop 用户):

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效:

source ~/.bashrc

五、配置 HDFS(伪分布式)

1. 配置 hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

添加:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. 配置 core-site.xml

vi $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. 配置 hdfs-site.xml

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. 配置 SSH 免密登录

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost

六、格式化并启动 HDFS

1. 格式化 NameNode

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 查看进程

jps

应看到:

  • NameNode
  • DataNode
  • SecondaryNameNode

七、验证 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /test
hdfs dfs -ls /test

Web 界面:

http://localhost:9870

八、停止 HDFS

stop-dfs.sh

九、常见错误

  • JAVA_HOME 未配置 → 检查 hadoop-env.sh
  • Permission denied (publickey) → SSH 未配置
  • 9000 端口被占用 → 修改 core-site.xml

如果你需要:

  • ✅ CentOS 多节点 HDFS 集群配置
  • ✅ HDFS + YARN
  • ✅ CentOS 7 生产环境优化

告诉我你的使用场景,我可以直接给你对应配置。

0 踩