CentOS 怎样优化 Hadoop 性能

一、系统配置优化（基础环境准备）

• 最小化安装与关闭无用服务：选择CentOS最小化安装，仅保留必要软件包（如ssh、vim）；禁用firewalld、SELinux等非必需服务（systemctl stop firewalld && systemctl disable firewalld；setenforce 0临时关闭SELinux，修改/etc/selinux/config永久生效），减少系统资源占用。
• 增大文件描述符上限：编辑/etc/security/limits.conf，添加* soft nofile 65535、* hard nofile 65535（用户软/硬限制）；修改/etc/pam.d/login，添加session required pam_limits.so，确保Hadoop进程能打开足够文件（NameNode需处理大量元数据文件）。
• 调整内核参数：编辑/etc/sysctl.conf，优化网络与内存参数：net.core.somaxconn = 65535（增加socket监听队列长度，避免连接拒绝）、vm.swappiness = 0（禁用swap，防止内存交换导致性能下降）、net.ipv4.tcp_tw_reuse = 1（复用TIME-WAIT连接，提升网络吞吐）；执行sysctl -p使配置生效。

二、硬件优化（性能瓶颈突破）

• 存储层优化：NameNode使用SSD（提升元数据读写速度，应对大量小文件）；DataNode采用SSD+HDD组合（热点数据存SSD，冷数据存HDD，平衡性能与成本）；采用RAID 10（兼顾性能与冗余，避免单盘故障导致数据丢失）。
• 计算与网络层优化：选择多核CPU（如Intel Xeon Platinum系列，提升并行计算能力）；配置大容量内存（NameNode建议≥128GB，DataNode根据块大小调整，如128GB内存可支持更多并发任务）；使用万兆以太网（或InfiniBand，降低网络延迟，提升数据传输效率）。

三、HDFS配置优化（分布式存储核心）

• 块大小调整：根据数据访问模式设置dfs.blocksize（默认128MB，适合大文件分析；若处理大量小文件，可调整为64MB以减少元数据压力，但会增加NameNode负载）。
• 副本数量优化：设置dfs.replication（默认3，适合生产环境；若存储资源紧张且对可靠性要求低，可调整为2；热数据可临时提高至4，提升读取性能）。
• NameNode与DataNode配置：dfs.namenode.handler.count（默认10，建议调整为20-50，提升NameNode处理DataNode心跳与客户端请求的并发能力）；dfs.datanode.data.dir（配置多目录，如/data1/dn,/data2/dn，分散数据存储，提高IO吞吐）；启用HDFS回收站（core-site.xml中设置fs.trash.interval=1440（1天）、fs.trash.checkpoint.interval=120（2小时），避免误删除数据）。

四、YARN与MapReduce配置优化（资源管理与计算引擎）

• YARN资源分配：yarn.nodemanager.resource.memory-mb（设置节点可用内存，如64GB内存可分配48GB给YARN，预留16GB给系统与其他服务）；yarn.scheduler.maximum-allocation-mb（单个容器最大内存，建议不超过节点YARN内存的80%，如32GB）；yarn.nodemanager.resource.cpu-vcores（设置节点可用CPU核心数，如16核可分配12核给YARN）。
• MapReduce任务配置：mapreduce.map.memory.mb（Map任务内存，如2GB）、mapreduce.reduce.memory.mb（Reduce任务内存，如4GB）；mapreduce.map.java.opts（Map任务JVM堆大小，建议为任务内存的80%，如-Xmx1600m）、mapreduce.reduce.java.opts（Reduce任务JVM堆大小，如-Xmx3200m）；mapreduce.task.io.sort.mb（排序缓冲区大小，建议为任务内存的10%-20%，如256MB，提升排序效率）；mapreduce.reduce.shuffle.parallelcopies（Reduce拉取Map输出的并行数，建议设置为5-10，提升shuffle效率）。
• 资源调度器选择：使用Capacity Scheduler（多租户队列，适合共享集群，分配资源配额）或Fair Scheduler（公平分配，适合批处理与交互式任务混合场景），避免资源争抢。

五、数据管理优化（减少IO与网络开销）

• 数据本地化：通过增加DataNode数量，使计算任务尽量分配到数据所在节点（Hadoop默认优先本地数据，可通过mapreduce.job.locality.wait调整等待时间，默认3秒，避免过长等待导致资源闲置）。
• 数据压缩：对MapReduce输出及HDFS存储启用压缩（如Snappy，压缩比约3-4倍，速度快；LZO，压缩比约2-3倍，适合大文件），减少磁盘IO与网络传输（mapreduce.output.fileoutputformat.compress=true、mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec）。
• 小文件合并：使用Hadoop Archive（HAR）或合并工具（如Spark的coalesce/repartition），将小文件合并为大文件（如每个文件≥128MB），减少NameNode元数据压力（NameNode内存占用与文件数量成正比）。

六、JVM调优（提升守护进程稳定性）

• 堆内存设置：根据守护进程角色调整堆大小（NameNode建议≥8GB，DataNode建议≥4GB，ResourceManager建议≥4GB，NodeManager建议≥2GB），通过HADOOP_OPTS环境变量设置（如export HADOOP_OPTS="-Xms8g -Xmx8g"，初始与最大堆一致，避免频繁GC）。
• GC策略优化：选择合适的垃圾回收器（如G1GC，适合大内存，减少Full GC停顿），设置GC参数（如-XX:+UseG1GC -XX:MaxGCPauseMillis=200，目标最大停顿200ms），提升JVM稳定性。

七、监控与调优（持续优化保障）

• 监控工具部署：使用Ganglia（实时监控集群资源使用率，如CPU、内存、网络）或Prometheus+Granafa（可视化监控，支持告警）；通过Hadoop自带Web UI（ResourceManager、NameNode）查看任务执行状态、资源分配情况。
• 性能分析与压测：定期使用TestDFSIO（测试HDFS读写性能，如hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -write -nrFiles 10 -fileSize 1G）、TeraSort（测试MapReduce排序性能，如hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 10000000 /teragen -Dmapreduce.job.maps=100）进行压测，识别瓶颈（如网络带宽不足、内存不够）并针对性调整。