温馨提示×

centos怎么启动hdfs

小樊
52
2026-09-06 13:18:50
栏目: 智能运维

在 CentOS 上启动 HDFS(Hadoop 分布式文件系统),通常步骤如下(假设你已经安装并配置好 Hadoop):


一、前置条件

  1. 已安装 JDK(推荐 JDK 8)
  2. 已安装 Hadoop(如 /opt/hadoop)
  3. 已配置:
    • JAVA_HOME
    • HADOOP_HOME
    • core-site.xml
    • hdfs-site.xml
  4. 已设置 SSH 免密登录(尤其是伪分布式 / 完全分布式)

二、启动 HDFS(常用方式)

1️⃣ 如果是第一次启动(必须格式化 NameNode)

hdfs namenode -format

⚠️ 只执行一次,重复格式化会清空数据。


2️⃣ 启动 HDFS

start-dfs.sh

或显式指定路径:

$HADOOP_HOME/sbin/start-dfs.sh

3️⃣ 检查是否启动成功

jps

应看到:

  • NameNode
  • DataNode
  • SecondaryNameNode(伪分布式)

4️⃣ 访问 Web 界面

默认端口:

http://localhost:9870

(Hadoop 3.x)

如果是 Hadoop 2.x:

http://localhost:50070

三、停止 HDFS

stop-dfs.sh

四、常见问题

❌ 权限问题

用非 root 用户启动 Hadoop:

useradd hadoop
su - hadoop

❌ JAVA_HOME 未设置

在 hadoop-env.sh 中:

export JAVA_HOME=/usr/java/jdk1.8.0_xxx

❌ SSH 无法连接

ssh-keygen
ssh-copy-id localhost

五、示例(伪分布式最小配置)

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

如果你愿意,我可以:

  • 帮你 一步步在 CentOS 安装 Hadoop
  • 区分 伪分布式 / 完全分布式
  • 针对 CentOS 7 / 8 / Stream 给具体命令

你现在是 伪分布式 还是 集群环境?

0 踩