Ubuntu Hadoop 配置文件在哪

Ubuntu环境下Hadoop配置文件的默认路径
Hadoop的核心配置文件（用于自定义集群参数）均集中存储在$HADOOP_HOME/etc/hadoop目录下（$HADOOP_HOME为Hadoop的安装根目录，如常见的/usr/local/hadoop或/opt/hadoop3.3.5）。该目录下的配置文件是用户修改集群行为的主要入口，所有自定义配置会覆盖对应默认配置文件中的参数。

主要配置文件及作用

1. core-site.xml
   定义Hadoop全局核心参数，包括默认文件系统（fs.defaultFS，如hdfs://localhost:9000）、临时目录（hadoop.tmp.dir，用于存储中间数据）等。是Hadoop运行的基础配置。
2. hdfs-site.xml
   配置HDFS（分布式文件系统）的具体参数，如NameNode和DataNode的数据存储目录（dfs.namenode.name.dir、dfs.datanode.data.dir）、副本数量（dfs.replication，单机模式下通常设为1）等。
3. yarn-site.xml
   配置YARN（资源管理系统）的参数，如ResourceManager的地址（yarn.resourcemanager.hostname）、NodeManager与ResourceManager通信的辅助服务（yarn.nodemanager.aux-services，需设置为mapreduce_shuffle以支持MapReduce）等。
4. mapred-site.xml
   配置MapReduce框架的运行参数，如任务调度框架（mapreduce.framework.name，需设置为yarn以使用YARN作为资源管理器）。该文件通常需从mapred-site.xml.template复制生成。

补充说明

• 默认配置文件的来源：Hadoop的默认参数存储在$HADOOP_HOME/share/hadoop目录下的JAR包中（如core-default.xml在hadoop-common-*.jar中，hdfs-default.xml在hadoop-hdfs-*.jar中），但不建议直接修改这些默认文件，而是通过自定义配置文件覆盖所需参数。
• 配置文件修改步骤：编辑配置文件时，可使用vim、nano等工具（如sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml），修改后需保存并重启Hadoop集群（stop-dfs.sh && stop-yarn.sh && start-dfs.sh && start-yarn.sh）使配置生效。