Debian Hadoop 资源管理策略

在 Debian 上配置 Hadoop 时，资源管理策略是一个关键部分，它涉及到如何有效地分配和管理集群中的计算资源。以下是一些关键配置和策略：

YARN 资源管理

• ResourceManager (RM): 作为集群资源的仲裁者，负责管理整个集群的计算资源，并将这些资源分配给应用程序。它包括一个可插拔式的调度器（Scheduler）和一个 ApplicationManager，用于管理集群中的用户作业。
• NodeManager (NM): 每个节点上的代理，管理该节点上的用户作业和工作流，并不断发送自己 Container 使用情况给 ResourceManager。
• ApplicationMaster (AM): 应用程序级别的管理实体，负责与 ResourceManager 协商以获取资源（以 Container 表示），并将得到的资源进一步分配给内部的任务。

关键配置参数

• ResourceManager:

  • yarn.scheduler.minimum-allocation-mb: 最小容器内存
  • yarn.scheduler.increment-allocation-mb: 容器内存增量
  • yarn.scheduler.maximum-allocation-mb: 最大容器内存
  • yarn.scheduler.minimum-allocation-vcores: 最小容器虚拟 CPU 内核数量
  • yarn.scheduler.increment-allocation-vcores: 容器虚拟 CPU 内核增量
  • yarn.scheduler.maximum-allocation-vcores: 最大容器虚拟 CPU 内核数量
  • yarn.resourcemanager.webapp.address: ResourceManager Web 应用程序 HTTP 端口。

• ApplicationMaster:

  • yarn.resourcemanager.am.max-attempts: ApplicationMaster 最大尝试次数
  • yarn.am.liveness-monitor.expiry-interval-ms: ApplicationMaster 监控过期。

• NodeManager:

  • yarn.nodemanager.resource.memory-mb: 节点内存
  • yarn.nodemanager.resource.cpu-vcores: 节点虚拟 CPU 内核
  • yarn.nodemanager.webapp.address: NodeManager Web 应用程序 HTTP 端口。

日志聚合

为了提高系统稳定性和可维护性，Hadoop 引入了日志聚合功能，通过自动收集并汇总各个节点的运行日志至中央存储（通常是 HDFS），实现了日志的集中化管理。

配置文件示例

以下是一个简单的配置文件示例，展示了如何在 Debian 上配置 Hadoop 的资源管理策略：

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://host1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>host1</value>
    </property>
</configuration>

以上信息提供了在 Debian 上配置 Hadoop 资源管理策略的基本框架和关键配置参数。根据具体的业务需求和集群规模，可能还需要进行进一步的调整和优化。