Linux系统Hadoop作业如何调度

Linux上Hadoop作业调度全指南

一核心架构与调度器选型

在 YARN 架构中，ResourceManager 负责全局资源管理与调度，NodeManager 管理单节点资源与容器生命周期，作业通过 ApplicationMaster 向 RM 申请 Container 并在 NM 上运行。调度器只负责“把资源分配给谁”，不负责作业容错与重启。常见调度器有三种：
- FIFO Scheduler：按提交顺序执行，简单但不适合多用户共享，容易出现“大作业阻塞小作业”。
- Capacity Scheduler：按队列划分容量，适合多租户与资源隔离，队列内默认 FIFO。
- Fair Scheduler：按“池/队列”动态均衡资源，兼顾小作业响应与大作业吞吐，支持抢占与权重。
  选型建议：单团队/轻量场景可用 FIFO；多用户共享且强调隔离用 Capacity；强调公平与弹性用 Fair。

二配置调度器与队列

选择调度器（示例为启用 Fair Scheduler）：在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 设置
yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
指定分配文件路径：yarn.scheduler.fair.allocation.file=/etc/hadoop/fair-scheduler.xml。
Fair Scheduler 队列示例（fair-scheduler.xml）：
- 定义队列与权重：root 下分 prod(weight=2)、dev(weight=1)；队列内调度策略为 fair。
- 队列放置策略：优先使用用户指定的队列；未指定时按 primaryGroup 映射；否则落到 default。
- 可设置最小/最大资源、最大运行应用数、AM 资源占比、抢占等。示例：
  fair fair
Capacity Scheduler 队列示例（capacity-scheduler.xml）：
- 定义队列：root.queues=prod,dev
- 设置容量：root.prod.capacity=70；root.dev.capacity=30
- 可继续配置最大容量、ACL、队列内应用上限等。
使配置生效：分发到所有节点并重启 ResourceManager 与 NodeManager。

三提交与运行时控制

提交作业（MapReduce 示例）：
- 使用 YARN 提交：yarn jar /path/to/your-job.jar com.example.YourJobClass input output
- 指定队列：在命令行加入 -Dmapreduce.job.queuename=dev
- 设置优先级（可选）：-Dmapreduce.job.priority=HIGH
运行时常用命令：
- 查看应用：yarn application -list
- 查看/修改应用优先级：yarn application -appId -updatePriority HIGH（部分发行版支持）
- 查看日志：yarn logs -applicationId
资源与容器：合理设置 mapreduce.map.memory.mb、mapreduce.reduce.memory.mb、容器虚拟核数等，避免 OOM 与过度申请。

四定时与跨作业编排

五监控与性能优化要点

监控与诊断：
- YARN Web UI（RM 8088）查看队列/应用/容器；命令行 yarn application -list/-status/-logs。
- 结合 Ganglia、Ambari/Cloudera Manager 做容量与性能趋势分析。
性能优化：
- 提升数据本地性，合理设置 HDFS 块大小 与 副本因子。
- 合理设置 Map/Reduce 内存与并发，减少 Shuffle 压力；中间与输出数据启用 压缩（Snappy/LZO）。
- 开启 推测执行 缓解慢节点；必要时考虑 Tez/Spark 替代 MR 以提升迭代/交互性能。
- 持续基于监控数据调参与重构作业逻辑。

最新问答