linux hdfs配置如何启动

下面按常见 Linux 环境给你一套清晰的 HDFS 配置与启动流程（以 Hadoop 3.x 为例，Hadoop 2.x 类似）。

一、前提准备

1. 安装 JDK

java -version

建议 JDK 8 或 11。

2. 下载并解压 Hadoop

tar -zxvf hadoop-3.3.6.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.6 /opt/hadoop

3. 配置环境变量

vim ~/.bashrc

export JAVA_HOME=/usr/java/jdk1.8.0_xxx
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc

二、HDFS 核心配置

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/dfs/data</value>
  </property>
</configuration>

3. hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_xxx

三、SSH 免密登录（单机也必须）

ssh-keygen -t rsa
ssh-copy-id localhost

测试：

ssh localhost

四、格式化 NameNode（仅第一次）

hdfs namenode -format

⚠️ 不要重复格式化，否则 data 会不一致。

五、启动 HDFS

方式一：使用脚本（推荐）

start-dfs.sh

方式二：分别启动

hdfs --daemon start namenode
hdfs --daemon start datanode

六、验证 HDFS 是否启动

1. 查看进程

jps

应看到：

NameNode
DataNode
SecondaryNameNode（非必须）

2. Web 页面

http://localhost:9870

3. 测试命令

hdfs dfs -mkdir /test
hdfs dfs -ls /

七、停止 HDFS

stop-dfs.sh

八、常见问题

1. 启动报错：JAVA_HOME not set

→ 检查 hadoop-env.sh

2. 端口被占用

→ 修改 core-site.xml 中端口

3. 权限问题

chown -R hadoop:hadoop /opt/hadoop

如果你需要：

集群版（多节点）
Docker 启动 HDFS
Hadoop + YARN 一起启动

可以告诉我你的使用场景，我可以直接给你对应配置。