Linux下Hadoop性能优化实战指南
一 硬件与操作系统层优化
- 硬件选型：优先为NameNode/JournalNode配备更高内存与更快磁盘（如SSD），集群使用多核CPU与高带宽低时延网络，以降低元数据与Shuffle瓶颈。
- 文件句柄与连接：提升进程可打开文件数与网络监听队列，建议将ulimit -n调至65536或更高，并将内核net.core.somaxconn提升到65535级别，缓解高并发下的连接排队。
- 虚拟内存与swap：为避免I/O抖动与GC受干扰，建议将vm.swappiness调低（如10），并在非必要时关闭swap。
- I/O与文件系统：选择ext4/xfs并启用noatime挂载选项；根据负载选择I/O调度器（如SSD倾向noop/deadline，HDD可用cfq）；按需用blockdev调整预读；必要时开启HDFS短路读以利用本地盘。
- 网络细节：结合带宽与延迟，适当优化MTU与TCP缓冲区，减少长链路与大流量传输的时延与丢包。
二 HDFS关键参数
- 块大小：将dfs.blocksize由128MB提升到256MB/512MB（大文件、长任务更友好），可降低NameNode元数据压力与寻址开销。
- 副本因子：默认3；在容量紧张或容灾要求较低的场景可降至2，以节省存储和网络，但需评估可靠性影响。
- 并发与服务线程：提升dfs.namenode.handler.count（如21或按并发量线性放大）以支撑更多DataNode/客户端请求；DataNode侧可按并发调大dfs.datanode.handler.count。
- 多目录与磁盘均衡：NameNode/DataNode配置多目录提升吞吐与可靠性；节点新增磁盘后使用HDFS Disk Balancer做盘内均衡，避免“热点盘”。
- 本地读与短路读：启用短路读与libhadoop.so，让计算靠近数据，减少网络往返。
三 YARN与MapReduce Shuffle调优
- 资源与容器：按节点资源设置yarn.nodemanager.resource.memory-mb与yarn.nodemanager.resource.cpu-vcores；合理设置yarn.scheduler.minimum-allocation-mb与yarn.scheduler.maximum-allocation-mb，避免容器过大/过小导致碎片或调度受限。
- 动态资源：启用YARN动态资源分配（Capacity/Fair Scheduler队列配合），让作业按需获取/释放容器，提高集群利用率。
- 容器与JVM：为Map/Reduce容器设置mapreduce.{map|reduce}.memory.mb与mapreduce.{map|reduce}.java.opts（如**-Xmx4g/-Xmx8g**），并选择低停顿GC（如G1GC）。
- Shuffle与合并：提升mapreduce.reduce.shuffle.parallelcopies（如10）、mapreduce.task.io.sort.factor（如100）、mapreduce.task.io.sort.mb（如200–300MB），并适度提高mapreduce.reduce.shuffle.input.buffer.percent（如0.70）与mapreduce.reduce.shuffle.merge.percent（如0.66），加速拉取、归并与溢写。
- Reduce数量：通过mapreduce.job.reduces控制Reduce个数，通常接近可用Reduce槽位或按数据量与负载实测微调。
四 数据布局与处理策略
- 数据本地化：保障计算靠近数据，必要时适度增加mapreduce.job.locality.wait（如30000 ms）以提高本地任务命中率；开启机架感知优化跨机架流量。
- 压缩：在Map输出与最终输出启用Snappy/LZO等压缩，降低磁盘与网络开销（如mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec）。
- 小文件治理：合并小文件，采用SequenceFile/Parquet/ORC等列式或容器格式，减少NameNode压力与I/O放大。
- 数据倾斜：通过合理分区/分桶与预处理，避免少数Reduce过载；必要时对热点键做打散或二次聚合。
五 监控与持续优化
- 监控体系：部署Ganglia/Prometheus+Grafana采集HDFS块报告、NameNode RPC延迟、YARN队列与容器使用率、网络/磁盘IO等关键指标，结合阈值告警。
- 日志分析：集中化ELK收集与检索组件日志，定位慢Task、失败重试、Shuffle超时、磁盘满等常见问题。
- 例行维护：定期执行数据均衡、磁盘/目录健康检查、版本升级（获取性能修复与新特性），并基于监控数据做滚动调参与容量规划。
