Hadoop Linux集群负载均衡实现方法
YARN是Hadoop的资源管理层，通过合理配置调度器可实现集群资源的动态分配，避免资源倾斜。
yarn-site.xml，设置yarn.resourcemanager.scheduler.class为org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler（容量调度器，适合多租户）或org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler（公平调度器，适合公平分配）。capacity-scheduler.xml，设置队列权重（如yarn.scheduler.capacity.root.queue1.capacity=50）和最大/最小资源容量，控制各队列的资源占比。fair-scheduler.xml，定义队列的公平策略（如yarn.scheduler.fair.allocation.file指向配置文件），确保作业公平获取资源。yarn jar命令时添加-Dmapreduce.job.queuename=队列名，让任务进入指定队列，由调度器分配资源。HDFS的数据块分布直接影响NameNode和DataNode的负载，需通过参数配置和手动调整实现数据均衡。
hdfs-site.xml，设置dfs.replication（数据块副本数，建议3-5，根据集群规模调整）控制副本数量；dfs.namenode.handler.count（NameNode处理线程数，建议100-200）提升NameNode的并发处理能力；dfs.datanode.handler.count（DataNode处理线程数，建议100-200）提升DataNode的IO处理能力。hdfs balancer命令启动平衡进程，默认阈值是10%（集群使用率差异超过10%时会迁移数据），可通过-threshold参数调整阈值（如hdfs balancer -threshold 5），-bandwidthPerSec参数限制迁移带宽（如-bandwidthPerSec 104857600表示100MB/s），避免影响集群正常运行。MapReduce的任务分配策略直接影响计算资源的利用率，需通过配置让任务合理分配到各个节点。
mapred-site.xml，设置mapreduce.job.queuename参数，将任务提交到对应的YARN队列（如mapreduce.job.queuename=default），由YARN调度器分配资源。mapreduce.job.locality.wait参数调整等待时间（如mapreduce.job.locality.wait=10秒），若本地无数据则等待指定时间后选择其他节点，提升数据本地化率。第三方工具可简化集群管理，提供图形化界面和自动化监控，提升负载均衡效率。
自动故障转移可确保NameNode故障时自动切换，避免单点故障导致的负载集中。
core-site.xml和hdfs-site.xml，设置dfs.nameservices（集群名称）、dfs.ha.namenodes.myCluster（NameNode节点列表）、dfs.namenode.rpc-address.myCluster.nn1（NameNode RPC地址）等参数；配置dfs.client.failover.proxy.provider.myCluster（故障转移代理类），启用自动故障转移。hdfs haadmin -failover nn1 nn2命令手动触发故障转移，测试集群是否能自动切换，确保高可用性。若默认策略无法满足业务需求，可通过自定义调度器实现更精细的控制。
org.apache.hadoop.yarn.server.resourcemanager.scheduler.Scheduler接口，实现allocate（资源分配）、handle（事件处理）等方法，定义自己的调度逻辑（如优先分配给CPU空闲的节点）。lib目录；修改yarn-site.xml，设置yarn.resourcemanager.scheduler.class为自定义调度器的类名，重启ResourceManager生效。
