linux hdfs配置是什么

在 Linux 环境下，HDFS（Hadoop Distributed File System）配置主要是指对 Hadoop 中 HDFS 相关配置文件进行修改，以使 NameNode、DataNode 等组件能够正常启动和运行。下面从核心配置文件、关键参数、配置示例、启动方式几个方面说明。

一、HDFS 主要配置文件（位于 $HADOOP_HOME/etc/hadoop/）

二、基础 HDFS 配置示例（单机 / 伪分布式）

1️⃣ hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/hadoop

2️⃣ core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3️⃣ hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/namenode</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/datanode</value>
  </property>
</configuration>

4️⃣ workers（Hadoop 3+）

localhost

三、集群模式关键配置（多节点）

core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<property>
  <name>dfs.namenode.http-address</name>
  <value>namenode:9870</value>
</property>

workers

datanode1
datanode2
datanode3

需配置 SSH 无密码登录 和 hosts 文件

四、格式化 & 启动 HDFS

# 格式化 NameNode（仅第一次）
hdfs namenode -format

# 启动 HDFS
start-dfs.sh

# 查看进程
jps
# NameNode / DataNode / SecondaryNameNode

Web 管理页面：

http://localhost:9870

五、常见 HDFS 配置参数说明

六、典型问题

• Permission denied → 检查目录权限
• Cannot assign requested address → 检查 fs.defaultFS
• DataNode 不启动 → 删除 data 目录重新 format

如果你愿意，我可以：

• 给你 完整 Hadoop 安装 + HDFS 配置教程
• 区分 CentOS / Ubuntu
• 或针对 Docker / 云服务器 场景配置

你现在是 学习 / 面试 / 生产环境 用？