Ubuntu环境下HDFS资源调度的实现与优化
HDFS（Hadoop分布式文件系统）的资源调度主要依赖**YARN（Yet Another Resource Negotiator）**作为资源管理框架，通过合理配置YARN参数、优化HDFS块策略及数据本地化等方式，实现集群资源的有效分配与利用。以下是具体实施步骤与优化技巧：
YARN是HDFS资源调度的核心组件，需通过yarn-site.xml配置文件调整资源分配参数，确保资源按需分配：
yarn.scheduler.minimum-allocation-mb（单个容器最小内存，默认1024MB）和yarn.scheduler.maximum-allocation-mb（单个容器最大内存，默认8192MB）参数，限制容器资源的最小/最大值，避免资源浪费或过度抢占。yarn-site.xml中设置yarn.nodemanager.resource.memory-mb（NodeManager可用总内存，如8GB）和yarn.nodemanager.resource.cpu-vcores（NodeManager可用总CPU核心数，如8核），明确节点可分配的资源总量。yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler，并通过fair-scheduler.xml配置队列权重（如default_queue权重为1，high_priority_queue权重为2）。HDFS的块大小直接影响资源调度效率，需根据数据规模与访问模式调整：
hdfs-site.xml中的dfs.blocksize参数设置块大小（默认128MB）。批处理场景（如MapReduce、Spark）可增大至256MB或512MB，减少NameNode元数据压力与网络传输次数；随机读取场景（如实时查询）可减小至64MB，提升数据局部性。dfs.replication参数调整副本数（默认3）。热数据（如频繁访问的用户日志）可增加至5副本，提高读取并行度；冷数据（如历史归档）可减少至2副本，节省存储资源。数据本地化（Data Locality）是减少网络传输、提升资源利用率的关键，需通过以下方式优化：
mapreduce.job.locality.wait参数（默认3秒）延长Map任务等待数据所在节点的时间（如设置为30秒），优先让任务运行在数据节点上，减少跨节点数据传输。balancer工具（命令：hdfs balancer -threshold 10），将集群中各DataNode的存储利用率差异控制在10%以内，避免部分节点过载而其他节点闲置。机架感知（Rack Awareness）通过将数据副本分布在不同机架的节点上，提升容错性与读取性能：
core-site.xml中设置topology.script.file.name参数（如/usr/local/hadoop/conf/rack-topology.sh），编写脚本识别节点所属机架（如返回rack1、rack2）。持续监控集群状态是优化资源调度的基础，需通过以下工具实现：
hdfs dfsadmin -report命令查看DataNode的存储使用情况（如磁盘剩余空间、数据块数量），使用yarn node -list命令查看NodeManager的资源使用情况（如内存、CPU占用率）。小文件（如小于块大小的文件）会增加NameNode元数据负载，间接影响资源调度效率，需通过以下方式解决：
hadoop archive -archiveName myhar.har -p /input/dir /output/dir），减少NameNode元数据压力。
