Ubuntu Hadoop 怎样进行资源管理

Ubuntu Hadoop 资源管理实践指南

一核心机制与关键参数

资源管理由 YARN 负责：由 ResourceManager 统一调度、由 NodeManager 在节点侧提供与隔离容器资源。资源以容器为单位申请，容器是内存与（可选）CPU 的逻辑封装。
内存维度常用参数（示例值与含义）：
- yarn.nodemanager.resource.memory-mb：节点可分配给 YARN 的总内存（如：8192 MB）。
- yarn.scheduler.minimum-allocation-mb：单个容器可申请的最小内存（如：1024 MB）。
- yarn.scheduler.maximum-allocation-mb：单个容器可申请的最大内存（如：16384 MB）。
- 虚拟内存检查与比率：yarn.nodemanager.vmem-pmem-ratio（默认 2.1）、yarn.nodemanager.pmem-check-enabled、yarn.nodemanager.vmem-check-enabled，用于超限杀进程与 OOM 防护。
CPU 维度常用参数（需显式开启与配置）：
- yarn.nodemanager.resource.cpu-vcores：节点可分配给 YARN 的 vCore 总数。
- yarn.scheduler.minimum-allocation-vcores / maximum-allocation-vcores：容器可申请的最小/最大 vCore。
- 启用精细 CPU 调度：设置 yarn.nodemanager.allow-cgroups 为 true，并结合 cgroups 做 CPU 隔离（可选，更严格的限额与绑核）。

二配置步骤与环境准备

配置环境变量（示例，写入 /etc/profile 或 ~/.bashrc 并 source 生效）：
- export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
- export HADOOP_HOME=/opt/hadoop
- export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml（关键片段）：
- 指定 Shuffle 服务：
  - yarn.nodemanager.aux-servicesmapreduce_shuffle
- 设置节点可用内存与容器边界（按机器内存调整）：
  - yarn.nodemanager.resource.memory-mb8192
  - yarn.scheduler.minimum-allocation-mb1024
  - yarn.scheduler.maximum-allocation-mb16384
- 可选 CPU 与 cgroups：
  - yarn.nodemanager.resource.cpu-vcores8
  - yarn.scheduler.minimum-allocation-vcores1
  - yarn.scheduler.maximum-allocation-vcores4
  - yarn.nodemanager.allow-cgroupstrue
使配置生效并重启 YARN：
- source /etc/profile 或 source ~/.bashrc
- $HADOOP_HOME/sbin/stop-yarn.sh && $HADOOP_HOME/sbin/start-yarn.sh
验证参数是否生效：
- 命令行：yarn node -list
- Web UI：ResourceManager 默认端口 8088，查看节点资源与已分配容器。

三队列与调度策略

三种常用调度器与适用场景：
- FIFO Scheduler：先进先出，简单但不适合共享集群（大作业可能阻塞小作业）。
- Capacity Scheduler：多队列、容量配额、支持弹性与用户限额，适合多组织/多团队共享。
- Fair Scheduler：按应用动态公平分配，支持抢占与更灵活的队列配置，适合多用户弹性需求。
启用与示例（以 Capacity 为例，yarn-site.xml）：
- yarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
- 在 capacity-scheduler.xml 中定义队列层级与容量，例如：
  - root.queues=prod,dev
  - root.prod.capacity=40
  - root.dev.capacity=60
- 可进一步设置最大容量、用户限额、AM 资源占比、队列状态等，实现强隔离与弹性共享的平衡。

四运行期管理与监控

常用运维命令（按需选用）：
- 查看与管控应用：
  - yarn application -list
  - yarn application -status
  - yarn application -kill
- 查看节点与资源：
  - yarn node -list
  - 访问 8088 端口 Web UI 观察集群、队列、容器与资源使用。
动态扩缩容思路（不改变物理规模的前提下提升利用率）：
- 调整容器边界：适度增大 maximum-allocation-mb / vcores，允许大任务申请更多资源。
- 调整节点供给：在 yarn.nodemanager.resource.memory-mb / cpu-vcores 中反映真实可用资源（如内存扩容或节点上线后修改）。
- 队列与调度器参数：为关键队列设置合理的容量/最大容量、AM 占比与用户限额，避免资源被长作业长期占用。

五实践建议与常见坑

容器内存与 JVM 堆：容器内存应大于任务堆（建议留有 20%–30% 余量），避免堆外与容器开销导致 OOM 或被杀。
虚拟内存检查：若任务因虚拟内存超限被杀，可结合业务适当调高 yarn.nodemanager.vmem-pmem-ratio，或优化任务内存使用；也可关闭虚拟内存检查（不推荐生产）。
小文件与容器碎片化：大量小作业会产生大量容器，增加调度开销；可通过合并小文件、提高容器最小内存等方式缓解。
调度器选择：多用户/多团队优先 Capacity 或 Fair；单团队或批处理链路简单可用 FIFO。
变更生效：修改 yarn-site.xml / capacity-scheduler.xml 后需重启 YARN 相关组件，并清理或滚动升级应用以避免状态不一致。

最新问答