怎样在centos启动hdfs

centos

小樊

2026-10-03 11:15:41

栏目: 智能运维

在 CentOS 上启动 HDFS（Hadoop 分布式文件系统），通常步骤如下。假设你已经安装好 Hadoop 并且完成了基本配置。

一、前置准备

1. 配置 Java 环境

HDFS 依赖 JDK：

java -version

如果没有安装：

yum install -y java-1.8.0-openjdk-devel

并在 hadoop-env.sh 中指定 JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

2. 配置 Hadoop 环境变量

编辑 ~/.bashrc 或 /etc/profile：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：

source ~/.bashrc

二、HDFS 必要配置（示例）

`core-site.xml`

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

`hdfs-site.xml`

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

三、首次启动 HDFS

1. 格式化 NameNode（仅第一次）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 检查进程

jps

应看到：

NameNode
DataNode
SecondaryNameNode（伪分布式）

4. 访问 Web UI

浏览器访问：

http://<centos-ip>:9870

四、停止 HDFS

stop-dfs.sh

五、常见问题

1. Permission denied (ssh)

启动脚本需要 SSH 本机：

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2. 防火墙阻止

systemctl stop firewalld

3. DataNode 未启动

删除 dfs.datanode.data.dir 中内容后重新格式化。

如果你是用 完全分布式（多节点） 或 Docker / Cloudera / Ambari，可以告诉我具体环境，我可以给你更精确的启动方式。