Hadoop 在 Ubuntu 上运行慢怎么办

一、硬件资源优化
确保集群节点硬件配置满足Hadoop运行需求，尤其是CPU、内存和存储：

• 升级硬件：主节点（NameNode、ResourceManager）需配备更强CPU（如多核Intel至强）和更多内存（建议≥8GB），从节点（DataNode、NodeManager）根据任务规模调整；
• 使用高速存储：将HDFS存储介质从HDD更换为SSD（如NVMe SSD），显著提升IO性能，减少数据读写延迟；
• 增加内存：为NameNode分配足够内存（建议占总内存的1/3~1/2），避免元数据处理时的磁盘交换（swap），提升元数据操作效率。

二、操作系统调优
优化Ubuntu系统内核参数及系统设置，提升系统资源利用率：

• 调整内核参数：修改/etc/sysctl.conf文件，优化TCP/IP堆栈和内存管理。例如：
  • vm.swappiness=10（降低交换分区使用频率，优先使用物理内存）；
  • net.core.rmem_max=16777216、net.core.wmem_max=16777216（增大TCP读写缓冲区，提升网络传输效率）；
    执行sysctl -p使配置生效；
• 禁用不必要服务：通过systemctl disable <服务名>关闭不需要的启动项（如桌面环境、蓝牙、打印服务等），减少系统启动时的资源消耗；
• 使用轻量级桌面环境：若使用GNOME等重量级桌面，切换至XFCE或LXDE，降低系统资源占用；
• 清理系统垃圾：定期使用BleachBit、Stacer等工具清理临时文件、缓存和旧内核，释放磁盘空间。

三、Hadoop配置优化
针对HDFS、MapReduce、YARN三大组件调整参数，提升任务处理效率：

• HDFS配置：
  • 增大HDFS块大小（dfs.block.size）：默认128MB，可根据数据规模调整为256MB或512MB，减少Map任务数量（每个块对应一个Map任务），降低元数据操作开销；
  • 调整副本数（dfs.replication）：根据集群规模设置为2~3（测试环境可设为1），平衡数据可靠性和存储开销；
  • 增加NameNode/Datanode处理线程数（dfs.namenode.handler.count、dfs.datanode.handler.count）：默认10，可调整为20~30，提升节点并发处理能力。
• MapReduce配置：
  • 启用Map输出压缩（mapred.compress.map.output）：设置为true，使用Snappy或LZO压缩算法，减少Map到Reduce阶段的网络传输量；
  • 调整Shuffle阶段内存（mapreduce.task.io.sort.mb）：默认100MB，可调整为200~500MB，增大排序缓冲区，减少磁盘溢写次数；
  • 配置Combiner：在Map端聚合相同key的数据（如wordcount中的combine函数），减少Reduce阶段输入数据量；
  • 优化任务数量：根据集群CPU核心数设置mapred.map.tasks（通常为核心数×2）和mapred.reduce.tasks（通常为核心数×1~1.5），避免任务过多导致调度开销。
• YARN配置：
  • 调整NodeManager内存（yarn.nodemanager.resource.memory-mb）：根据节点总内存设置（如8GB节点可设为6GB），预留2GB给系统和其他进程；
  • 配置资源调度器：使用Fair Scheduler或Capacity Scheduler，根据任务优先级分配资源，避免资源抢占；
  • 设置Container大小：合理分配Map/Reduce任务的Container内存（如yarn.scheduler.minimum-allocation-mb=256MB、yarn.scheduler.maximum-allocation-mb=4GB），避免内存浪费或溢出。

四、数据本地化优化
确保计算任务尽可能运行在数据所在的节点，减少网络传输开销：

• Hadoop默认优先将任务分配到数据节点，但需避免因节点故障或资源不足导致的跨节点调度。可通过hadoop job -set-priority <job_id> VERY_HIGH提升关键任务的优先级，或通过mapreduce.job.locality.wait参数（默认3秒）调整等待本地数据的超时时间，避免因等待本地数据而延长任务启动时间。

五、网络优化
提升集群节点间网络传输效率，减少数据传输瓶颈：

• 使用高速网络：集群节点间采用10Gbps及以上以太网，或InfiniBand网络，提升数据传输带宽；
• 启用数据压缩：在HDFS传输（dfs.datanode.max.transfer.threads）和MapReduce Shuffle阶段启用压缩（mapreduce.shuffle.compress），减少网络传输的数据量；
• 优化网络拓扑：将NameNode、ResourceManager部署在独立的高带宽节点，避免与其他服务竞争网络资源。

六、JVM调优
调整Java虚拟机（JVM）参数，优化内存管理和垃圾回收（GC）性能：

• 为Hadoop进程分配足够内存：在hadoop-env.sh中设置HADOOP_NAMENODE_OPTS="-Xmx3072m"（NameNode内存）、HADOOP_DATANODE_OPTS="-Xmx2048m"（DataNode内存），根据节点内存调整；
• 选择低延迟GC算法：如G1GC（Java 9+默认），在hadoop-env.sh中添加-XX:+UseG1GC，减少GC停顿时间；
• 调整GC参数：如-XX:MaxGCPauseMillis=100（设置最大GC停顿时间为100ms），平衡GC频率与停顿时间。

七、监控与诊断
通过工具定位性能瓶颈，针对性优化：

• 使用监控工具：部署Ganglia、Ambari或Cloudera Manager，实时监控集群的CPU、内存、磁盘IO、网络带宽等指标，及时发现资源瓶颈；
• 分析作业日志：通过Hadoop的JobHistory Server查看任务日志，分析Map/Reduce任务的执行时间（如Shuffle阶段耗时过长）、资源使用情况（如内存不足），针对性调整参数；
• 定期检查数据倾斜：通过日志或监控工具发现某些任务处理数据量远大于其他任务，通过调整分区策略（如自定义Partitioner）或过滤异常数据，均衡任务负载。

八、其他优化建议

• 升级Hadoop和Java版本：使用最新稳定版本的Hadoop（如3.3.x）和Java（如OpenJDK 11+），新版本通常包含性能改进和bug修复；
• 使用高效数据格式：将数据存储为SequenceFile、ORCFile或Parquet等列式存储格式，提升数据读取效率（如ORCFile支持压缩和索引）；
• 合理设置副本放置策略：通过dfs.replication和dfs.namenode.replication.work.multiplier.per.iteration参数，将副本分布在不同机架的节点，提升数据可靠性和读取性能。