CentOS HDFS配置性能调优

一、硬件与系统基础优化

• 硬件升级：采用SSD存储提升I/O性能，增加内存、CPU及高速网络设备（如10Gbps网卡）。
• 系统参数调优：
  • 调整内核参数（/etc/sysctl.conf）：增大文件句柄数（fs.file-max）、优化TCP连接参数（如net.ipv4.tcp_tw_reuse=1）。
  • 设置文件系统缓存：调整vm.dirty_ratio（建议50）和vm.dirty_background_ratio（建议10）。

二、HDFS核心参数优化

• NameNode配置：
  • 内存优化：Hadoop 2.x在hadoop-env.sh中设置HADOOP_NAMENODE_OPTS（如-Xmx4096m）；Hadoop 3.x可手动配置内存分配。
  • 并发处理：增大dfs.namenode.handler.count（默认10，建议调整为集群规模的20倍对数）。
  • 多目录配置：在hdfs-site.xml中通过dfs.namenode.name.dir配置多个存储目录，提升可靠性。
• DataNode配置：
  • 数据存储目录：通过dfs.datanode.data.dir配置多磁盘目录，分散数据存储压力。
  • 传输线程数：调整dfs.datanode.max.transfer.threads（默认4096，可增至8192）以提升并发读写能力。
• 数据存储策略：
  • 块大小调整：根据数据规模设置dfs.blocksize（如128MB或256MB，大文件建议更大）。
  • 副本数设置：默认3副本，可根据集群规模调整，平衡冗余与存储成本。
  • 数据本地化：通过调度策略将计算任务分配到数据所在节点，减少网络传输。

三、集群管理与运维优化

• 回收站管理：在core-site.xml中配置fs.trash.interval（如60分钟）和fs.trash.checkpoint.interval，避免误删数据。
• 集群压测：使用TestDFSIO工具测试读写性能，分析网络带宽与磁盘I/O瓶颈。
• 磁盘均衡：Hadoop 3.x使用hdfs diskbalancer命令平衡节点内磁盘数据分布，避免单盘负载过高。
• 避免小文件：合并小文件（如使用Hadoop Archive工具），减少NameNode元数据压力。

四、安全与扩展性

• 权限控制：通过配置白名单（dfs.hosts）限制节点访问，防止恶意节点加入。
• 集群扩容：动态添加节点，通过hdfs dfsadmin -refreshNodes刷新节点状态，无需重启集群。

注意事项：优化前需备份数据，测试环境验证配置有效性，避免影响生产环境稳定性。