温馨提示×

linux hdfs配置怎么启动

小樊
61
2026-09-10 12:34:19
栏目: 智能运维

下面给你一个Linux 下 HDFS 配置并启动的简明流程(以 Hadoop 3.x 为例,伪分布式模式,最常见)。


一、前置条件

  1. 已安装 JDK 8+
java -version
  1. 已下载并解压 Hadoop
tar -zxvf hadoop-3.x.x.tar.gz -C /opt/
  1. 配置环境变量
vi ~/.bashrc

添加:

export HADOOP_HOME=/opt/hadoop-3.x.x
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效:

source ~/.bashrc

二、HDFS 核心配置(伪分布式)

1. hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

设置 JAVA_HOME:

export JAVA_HOME=/usr/java/jdk1.8.0_xxx

2. core-site.xml

vi $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. hdfs-site.xml

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-3.x.x/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-3.x.x/data/datanode</value>
  </property>
</configuration>

三、配置 SSH 免密登录(必须)

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试:

ssh localhost

四、格式化 NameNode(第一次必须)

hdfs namenode -format

五、启动 HDFS

start-dfs.sh

验证进程:

jps

应看到:

  • NameNode
  • DataNode
  • SecondaryNameNode

六、访问 HDFS Web 页面

http://localhost:9870

七、常用命令

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /

八、停止 HDFS

stop-dfs.sh

如果你是要:

  • 完全分布式
  • HA(高可用)
  • 用 root 用户启动
  • CentOS / Ubuntu 特定问题

告诉我你的环境,我可以给你对应配置。

0 踩