Hadoop作业调度的工作流程主要包括以下几个步骤：
1. 作业提交
- 用户通过命令行或API将MapReduce作业提交到YARN（Yet Another Resource Negotiator）。
- YARN接收作业并创建一个ApplicationMaster进程。
2. 资源分配
- ResourceManager负责整个集群资源的分配和管理。
- ResourceManager根据作业的需求和当前集群的资源状况，为ApplicationMaster分配必要的资源（如内存、CPU核数等）。
3. ApplicationMaster启动
- ApplicationMaster在ResourceManager分配的资源上启动，并开始与ResourceManager通信。
- ApplicationMaster的主要职责是协调和管理作业的执行。
4. 任务分解与分配
- ApplicationMaster将MapReduce作业分解成多个Map任务和Reduce任务。
- ApplicationMaster将这些任务分配给集群中的NodeManager节点。
5. 任务执行
- NodeManager在接收到任务后，在其管理的容器（Container）中启动任务执行。
- 任务执行过程中，NodeManager会监控任务的进度和资源使用情况，并将状态报告给ApplicationMaster。
6. 进度监控与故障恢复
- ApplicationMaster定期检查任务的进度，如果某个任务失败或长时间未完成，ApplicationMaster会重新调度该任务。
- ResourceManager也会监控ApplicationMaster的健康状况，如果ApplicationMaster崩溃，ResourceManager会重新启动一个新的ApplicationMaster。
7. 作业完成
- 当所有Map和Reduce任务都成功完成后，ApplicationMaster会通知ResourceManager作业已完成。
- ResourceManager释放分配给ApplicationMaster的资源，并将作业状态更新为“已完成”。
8. 结果收集
- ApplicationMaster负责收集各个任务的输出结果，并将其合并成最终的输出文件。
- 用户可以通过命令行或API获取作业的输出结果。
调度策略
Hadoop支持多种调度策略，包括：
- FIFO（先进先出）：按照作业提交的顺序进行调度。
- Capacity Scheduler：根据队列的容量进行调度，支持多租户环境。
- Fair Scheduler：确保所有作业公平地共享集群资源。
配置参数
调度器的行为可以通过配置文件进行调整，例如：
yarn.resourcemanager.scheduler.class：指定使用的调度器类型。mapreduce.job.queuename：指定作业提交到的队列名称。
通过上述流程，Hadoop能够高效地管理和调度分布式计算任务，确保资源的合理利用和作业的顺利完成。
