CentOS 系统如何优化 Hadoop 性能

以下是在CentOS系统上优化Hadoop性能的关键措施：

一、系统基础优化

• 最小化安装：仅安装必要软件包，减少系统资源占用。
• 关闭非必要服务：禁用防火墙、SELinux等非必需服务。
• 调整内核参数：
  • 增大socket监听队列：net.core.somaxconn=65535。
  • 减少swap使用：vm.swappiness=0。
  • 优化文件句柄限制：修改/etc/security/limits.conf，增大nofile值。

二、HDFS性能优化

• NameNode内存配置：在hadoop-env.sh中设置HADOOP_NAMENODE_OPTS，根据内存调整JVM堆大小。
• 多目录配置：在hdfs-site.xml中为NameNode和DataNode配置多个存储目录，提升数据可靠性和读写效率。
• 块大小调整：根据数据规模调整dfs.blocksize（如128MB~256MB），平衡读写效率与元数据压力。
• 副本策略优化：根据集群规模设置dfs.replication（通常3副本），避免过度冗余。
• 数据本地性优化：增加DataNode数量，使数据尽量存储在计算节点本地，减少网络传输。

三、YARN资源管理优化

• 内存与CPU配置：
  • 设置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores，合理分配节点资源。
  • 调整容器最小/最大资源分配：yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb。
• 调度器选择：
  • 容量调度器（CapacityScheduler）：适合固定资源分配场景，通过队列隔离不同业务。
  • 公平调度器（FairScheduler）：适合动态共享资源，按需分配计算资源。
• 动态资源分配：启用yarn.scheduler.dynamic-resource-allocation.enabled，提升资源利用率。

四、硬件与网络优化

• 硬件升级：
  • 采用SSD存储NameNode元数据和DataNode热点数据，提升I/O性能。
  • 使用多核CPU和大内存服务器，支撑并行计算需求。
  • 配备万兆网卡，优化网络传输速度。
• 网络参数优化：
  • 调整TCP缓冲区大小：net.ipv4.tcp_rmem和net.ipv4.tcp_wmem。
  • 启用TCP连接复用：net.ipv4.tcp_tw_reuse=1。

五、监控与调优工具

• 内置工具：使用Hadoop的ResourceManager、NodeManager UI监控资源使用情况。
• 第三方工具：部署Ganglia、Prometheus等，实时监控集群性能，定位瓶颈。
• 压力测试：通过TestDFSIO等工具模拟负载，验证优化效果。

六、其他优化策略

• 数据压缩：启用MapReduce输出压缩（如Snappy算法），减少存储和传输开销。
• 避免小文件：合并小文件，降低NameNode元数据压力。
• 缓存优化：配置客户端元数据缓存，加速文件访问。

注意：优化前需在测试环境验证配置有效性，避免影响生产环境稳定性。建议结合业务负载和集群规模逐步调整参数。