Linux里Hadoop资源如何分配

在Linux环境下，Hadoop资源的分配主要涉及到以下几个方面：

1. Hadoop集群配置

• core-site.xml: 配置Hadoop的核心参数，如文件系统的URI和默认文件系统。
• hdfs-site.xml: 配置HDFS相关的参数，包括副本因子、块大小、数据节点目录等。
• yarn-site.xml: 配置YARN相关的参数，如资源管理器地址、节点管理器地址、容器大小等。
• mapred-site.xml: 配置MapReduce作业的参数。

2. 资源分配策略

• 固定分配: 为每个任务分配固定的资源（CPU、内存）。
• 动态分配: 根据任务的实时需求动态调整资源分配。

固定分配示例

在yarn-site.xml中配置：

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8192</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>1</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>8</value>
</property>

动态分配示例

启用动态分配：

<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>
<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.1</value>
</property>
<property>
    <name>yarn.scheduler.capacity.node-locality.wait</name>
    <value>30000</value>
</property>

3. 队列配置

• 在Capacity Scheduler中，可以创建多个队列，并为每个队列分配不同的资源比例。
• 示例配置：

<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>queueA,queueB</value>
</property>
<property>
    <name>yarn.scheduler.capacity.root.queueA.capacity</name>
    <value>50</value>
</property>
<property>
    <name>yarn.scheduler.capacity.root.queueB.capacity</name>
    <value>50</value>
</property>

4. 资源监控和调整

• 使用Hadoop自带的监控工具（如ResourceManager Web UI）来监控集群的资源使用情况。
• 根据监控结果，动态调整资源配置参数。

5. 作业提交时的资源请求

• 在提交MapReduce作业时，可以通过命令行参数指定所需的资源：

hadoop jar my-job.jar com.example.MyJob -D mapreduce.map.memory.mb=2048 -D mapreduce.reduce.memory.mb=4096

6. 容器重用

• YARN支持容器重用，可以减少资源分配的开销。
• 配置相关参数：

<property>
    <name>yarn.nodemanager.container-reuse-enable</name>
    <value>true</value>
</property>

总结

通过合理配置Hadoop集群的各个组件和参数，可以实现高效的资源分配和管理。同时，结合监控工具和动态调整策略，可以确保集群资源的充分利用和作业的高效执行。