Linux下Hadoop的配置文件主要位于$HADOOP_HOME/etc/hadoop目录下,核心配置文件有:
- hadoop-env.sh:设置Hadoop运行环境变量,如JAVA_HOME。
- core-site.xml:配置Hadoop核心参数,如fs.defaultFS(默认文件系统URI)、hadoop.tmp.dir(临时目录)。
- hdfs-site.xml:配置HDFS参数,如dfs.replication(副本数)、dfs.namenode.name.dir(NameNode元数据存储目录)。
- mapred-site.xml:配置MapReduce参数,如mapreduce.framework.name(运行框架,通常为yarn)。
- yarn-site.xml:配置YARN参数,如yarn.resourcemanager.hostname(ResourceManager主机名)、yarn.nodemanager.aux-services(NodeManager辅助服务)。
此外,还有yarn-env.sh(配置YARN环境变量)、slaves(或workers,列出集群节点)等文件。