HDFS与YARN在CentOS上如何协同工作

HDFS与YARN在CentOS上的协同工作流程及配置如下：

1. 环境准备

   • 安装JDK 1.8+并配置环境变量。
   • 配置SSH免密登录，确保节点间通信。
   • 关闭防火墙（测试环境），生产环境需按需开放端口。

2. HDFS配置

   • 编辑core-site.xml，设置NameNode地址（如fs.defaultFS=hdfs://localhost:9000）。
   • 编辑hdfs-site.xml，配置副本数（dfs.replication）、数据存储路径等。
   • 格式化NameNode：hdfs namenode -format。
   • 启动HDFS：start-dfs.sh。

3. YARN配置

   • 编辑yarn-site.xml，指定ResourceManager地址（yarn.resourcemanager.hostname）和NodeManager辅助服务（如mapreduce_shuffle）。
   • 编辑mapred-site.xml，设置mapreduce.framework.name=yarn以适配YARN。
   • 启动YARN：start-yarn.sh。

4. 协同工作流程

   • 作业提交：客户端将任务（如MapReduce）提交至YARN的ResourceManager。
   • 资源调度：ResourceManager分配Container资源给NodeManager，NodeManager启动任务。
   • 数据访问：任务运行时从HDFS读取数据，处理结果写回HDFS。
   • 状态监控：通过Web界面（HDFS：http://namenode:50070；YARN：http://resourcemanager:8088）查看集群状态。

5. 验证集成

   • 使用jps命令检查进程：需看到NameNode、DataNode、ResourceManager、NodeManager等。
   • 运行示例任务（如wordcount）验证数据处理能力。

关键组件协作：

• HDFS提供数据存储，通过NameNode管理元数据，DataNode存储实际数据块。
• YARN负责资源管理，通过ResourceManager全局调度资源，NodeManager在节点上执行任务。
• Container是资源抽象单位，封装CPU、内存等，承载任务执行。

参考来源：