CentOS HDFS配置内存设置

在CentOS上配置HDFS（Hadoop分布式文件系统）的内存设置，主要涉及调整YARN（Yet Another Resource Negotiator）的资源管理参数，因为YARN负责集群资源的分配和管理，包括内存。以下是一些关键步骤和参数：

1. 修改 yarn-site.xml 文件

yarn-site.xml 文件位于 $HADOOP_HOME/etc/hadoop/ 目录下。你需要编辑这个文件来设置YARN容器的内存限制。

关键参数：

• yarn.nodemanager.resource.memory-mb: 设置NodeManager可以使用的最大内存量（以MB为单位）。
• yarn.scheduler.minimum-allocation-mb: 设置YARN调度器分配给容器的最小内存量（以MB为单位）。
• yarn.scheduler.maximum-allocation-mb: 设置YARN调度器分配给容器的最大内存量（以MB为单位）。

示例配置：

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value> <!-- 8GB -->
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value> <!-- 1GB -->
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value> <!-- 4GB -->
    </property>
</configuration>

2. 修改 core-site.xml 文件

core-site.xml 文件也位于 $HADOOP_HOME/etc/hadoop/ 目录下。你需要确保配置了ResourceManager的地址。

示例配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://your-resourcemanager-host:8020</value>
    </property>
</configuration>

3. 修改 hdfs-site.xml 文件

hdfs-site.xml 文件同样位于 $HADOOP_HOME/etc/hadoop/ 目录下。你需要设置HDFS的块大小和副本数等参数。

示例配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value> <!-- 副本数 -->
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value> <!-- Namenode处理请求的线程数 -->
    </property>
</configuration>

4. 重启服务

修改完配置文件后，需要重启Hadoop集群中的相关服务以使配置生效。

# 停止所有Hadoop服务
stop-dfs.sh
stop-yarn.sh

# 启动所有Hadoop服务
start-dfs.sh
start-yarn.sh

5. 验证配置

你可以通过YARN的Web界面或命令行工具来验证配置是否生效。

使用Web界面：

• 打开浏览器，访问 http://your-resourcemanager-host:8088，查看NodeManager的内存使用情况。

使用命令行：

# 查看YARN节点信息
yarn node -list

# 查看YARN应用程序信息
yarn application -list

通过以上步骤，你应该能够成功配置CentOS上HDFS的内存设置。根据你的具体需求和集群规模，可能需要调整这些参数以达到最佳性能。