Ubuntu HDFS配置中的关键参数分类及说明
一、core-site.xml（核心系统配置）
core-site.xml定义了HDFS的全局系统属性，是HDFS运行的基础配置文件，关键参数如下：
- fs.defaultFS：集群默认文件系统地址，指定NameNode的RPC通信地址（如
hdfs://namenode:9000）。该参数决定了客户端访问HDFS的入口，是HDFS服务的核心标识。
- io.file.buffer.size：读写数据时的缓存大小，通常设置为硬件分页大小（如4KB）的2倍（建议131072字节，即128KB）。较大的缓存能减少磁盘IO次数，提升数据读写效率。
- hadoop.tmp.dir：HDFS临时文件目录，用于存储NameNode元数据的临时文件和DataNode的数据块临时文件。需配置在具有足够空间的专用分区（如
/usr/local/hadoop/tmp），避免因磁盘空间不足导致服务异常。
二、hdfs-site.xml（HDFS专属配置）
hdfs-site.xml用于配置HDFS的具体行为，如副本策略、数据存储路径等，关键参数如下：
- dfs.replication：数据块副本数，决定数据的冗余程度和读取吞吐量。默认值为3（生产环境常用），若为伪分布式环境可设置为1（仅本地存储）。副本数越多，数据安全性越高，但会占用更多存储空间。
- dfs.namenode.name.dir：NameNode元数据存储路径，用于保存
fsimage（命名空间镜像）和edits（操作日志）文件。可设置多个路径（以逗号分隔），如/path/to/namenode/data1,/path/to/namenode/data2，提高元数据存储的可靠性。
- dfs.datanode.data.dir：DataNode数据块存储路径，用于保存实际的数据文件。建议配置多个磁盘路径（如
/data1/datanode,/data2/datanode），分散存储压力，提升数据读写性能。
- dfs.blocksize：HDFS文件块大小，决定MapReduce任务的并行度和内存使用效率。默认值为128MB（Hadoop 2.x及以上），可根据数据访问模式调整（如大文件处理可设置为256MB，小文件处理可设置为64MB）。
- dfs.namenode.handler.count：NameNode处理RPC请求的线程数，默认值为10。若集群规模较大（如DataNode节点数超过10个），可适当增加该值（如20-50），避免因线程不足导致请求堆积。
- dfs.datanode.handler.count：DataNode处理RPC请求的线程数，默认值为3。可根据DataNode的硬件配置（如CPU核心数）调整（如4-8），提升DataNode与NameNode之间的通信效率。
三、其他重要配置
- SSH免密登录：在分布式集群中，NameNode需要通过SSH无密码访问各DataNode节点，以执行数据块复制、心跳检测等操作。需生成SSH密钥（
ssh-keygen -t rsa）并将公钥复制到所有DataNode节点（ssh-copy-id user@datanode_ip）。
- 防火墙端口开放：HDFS服务需要开放特定端口（如NameNode的
50070端口、DataNode的50010端口、SecondaryNameNode的50090端口），确保节点间通信正常。可使用sudo ufw allow 端口号命令开放端口。
