CentOS Hadoop 配置怎样优化

以下是CentOS上优化Hadoop配置的关键方向及具体措施：

一、系统基础优化

1. 最小化安装与关闭冗余服务
   • 选择最小化安装，避免非必要软件包占用资源。
   • 禁用防火墙（systemctl stop firewalld）和SELinux（setenforce 0），减少资源消耗。
2. 调整内核参数
   • 增大文件描述符上限：修改/etc/security/limits.conf，设置* soft nofile 65535。
   • 优化TCP性能：在/etc/sysctl.conf中设置net.core.somaxconn=65535、net.ipv4.tcp_tw_reuse=1，并执行sysctl -p生效。

二、HDFS性能优化

1. 硬件与存储配置
   • 使用SSD作为NameNode存储介质，提升元数据处理速度；DataNode可混合使用SSD和HDD，热点数据存SSD。
   • 为NameNode和DataNode配置多目录（dfs.namenode.name.dir、dfs.datanode.data.dir），分散磁盘压力。
2. 核心参数调优
   • 调整块大小（dfs.block.size）：大文件建议256MB-512MB，小文件场景可保持默认128MB。
   • 增加副本数（dfs.replication）：根据数据重要性设置2-3份，平衡冗余与存储成本。
   • 启用回收站（fs.trash.interval）：避免误删数据，设置fs.trash.checkpoint.interval定期清理。

三、YARN资源管理优化

1. 内存与CPU分配
   • 在yarn-site.xml中设置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores，按节点硬件配置分配资源。
   • 调整容器内存参数：mapreduce.map.memory.mb、mapreduce.reduce.memory.mb，并设置JVM堆大小（如-Xmx为内存的80%）。
2. 调度器选择
   • 使用Capacity Scheduler或Fair Scheduler，按队列优先级分配资源，避免资源争用。

四、MapReduce优化

1. 任务资源与并行度
   • 调整mapreduce.task.io.sort.mb（默认100MB，可增大至200MB+）和mapreduce.task.io.sort.factor（默认10，可增大至20），优化排序性能。
   • 合理设置Reduce任务数（mapreduce.job.reduces），通常为集群Reduce槽数的0.95倍，避免数据倾斜。
2. 压缩与数据本地化
   • 启用中间数据压缩（mapreduce.map.output.compress=true），选择Snappy算法（mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec）。
   • 通过增加DataNode数量，确保数据本地化执行，减少网络传输。

五、监控与持续调优

• 工具部署：使用Ganglia、Prometheus监控集群资源（CPU、内存、网络），或通过Hadoop自带UI（如ResourceManager、NameNode UI）查看任务状态。
• 日志分析：定期清理日志（hadoop fs -rm -r /var/log/hadoop/*），通过日志定位慢任务或异常。
• 压测验证：使用TestDFSIO测试读写性能，根据结果调整块大小、副本数等参数。

注意事项

• 优化前备份配置文件（如hadoop-env.sh、core-site.xml），并在测试环境验证效果。
• 避免过度调优，优先保证集群稳定性，再逐步提升性能。

参考来源：