怎样修改Ubuntu HDFS配置参数

Ubuntu 修改 HDFS 配置参数的标准流程

一 准备与定位配置文件

• 确认 Hadoop 安装目录：执行 echo $HADOOP_HOME，进入配置目录 cd $HADOOP_HOME/etc/hadoop。
• 关键配置文件与作用：
  • core-site.xml：HDFS 的默认文件系统 fs.defaultFS、临时目录 hadoop.tmp.dir 等核心参数。
  • hdfs-site.xml：HDFS 专属参数，如副本数 dfs.replication、NameNode 数据目录 dfs.namenode.name.dir、DataNode 数据目录 dfs.datanode.data.dir 等。
  • hadoop-env.sh：运行时环境变量（如 JAVA_HOME、内存等）。
• 修改前建议备份：cp core-site.xml core-site.xml.bak-$(date +%F)；cp hdfs-site.xml hdfs-site.xml.bak-$(date +%F)。

二 修改配置文件的步骤

• 使用编辑器打开文件：nano $HADOOP_HOME/etc/hadoop/core-site.xml 或 nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml。
• 在 <configuration> ... </configuration> 内新增或修改 <property> 节点，例如：
  • 修改默认文件系统与临时目录（core-site.xml）

    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
    </property>
    

  • 修改副本数与数据目录（hdfs-site.xml）

    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:///data/hadoop/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:///data/hadoop/datanode</value>
    </property>
    

• 保存文件并检查语法：hdfs version 无报错通常说明 XML 基本可用（更严谨可用 xmllint --noout $HADOOP_HOME/etc/hadoop/*.xml）。

三 使配置生效与验证

• 重启 HDFS 服务（推荐先停后启）：

  $HADOOP_HOME/sbin/stop-dfs.sh
  $HADOOP_HOME/sbin/start-dfs.sh
  

• 如修改了 dfs.namenode.name.dir 等涉及元数据或数据目录的参数，需先确保目录存在并赋权，然后重新格式化 NameNode（仅限首次或明确需要重建元数据的情况）：

  sudo mkdir -p /data/hadoop/namenode /data/hadoop/datanode
  sudo chown -R $(whoami):$(whoami) /data/hadoop
  hdfs namenode -format
  start-dfs.sh
  

• 验证：
  • 进程检查：jps 应看到 NameNode、DataNode（及 SecondaryNameNode）。
  • Web 界面：访问 http://:9870（Hadoop 3.x）或 http://:50070（Hadoop 2.x）查看 HDFS 信息页。
  • 命令行：hdfs dfsadmin -report、hdfs dfs -ls / 检查集群与目录状态。

四 常见场景与参数示例

• 调整副本数（hdfs-site.xml）：dfs.replication 默认为 3，单节点或测试环境可设为 1。
• 更换数据目录（hdfs-site.xml）：将 dfs.namenode.name.dir、dfs.datanode.data.dir 指向新磁盘或新路径，注意目录存在与权限正确。
• 调整 I/O 缓冲（core-site.xml）：io.file.buffer.size 常用 131072（128 KB），可按磁盘与负载调优。
• 修改 HDFS 访问地址（core-site.xml）：fs.defaultFS 设置为 hdfs://<namenode-host>:9000，确保与集群网络与防火墙策略一致。

五 注意事项与排错

• 修改配置通常需要重启相应服务；涉及 NameNode 元数据目录 的变更，务必先备份并谨慎操作，格式化会清空元数据。
• 目录与权限：确保新目录存在并对运行 Hadoop 的用户可写（如 chown -R $(whoami):$(whoami) <dir>）。
• 防火墙与端口：开放 9000（RPC）、9870/50070（NameNode Web）等端口，或在内网环境关闭防火墙测试。
• 环境变量：若 start-dfs.sh 找不到命令，检查 HADOOP_HOME 与 PATH 是否正确（echo $HADOOP_HOME、which start-dfs.sh）。
• 版本差异：Hadoop 3.x 的 NameNode Web 默认端口为 9870，Hadoop 2.x 为 50070，访问时请对应版本。