CentOS HDFS与其他服务集成配置

CentOS上集成HDFS与其他服务需按步骤配置，以下是关键操作：

一、基础环境准备

1. 安装Java：确保所有节点安装JDK 1.8+，配置JAVA_HOME环境变量。
2. 配置SSH免密登录：在所有节点间生成密钥对并同步公钥至authorized_keys，实现无密码通信。

二、HDFS核心配置

1. 安装Hadoop：下载解压Hadoop包，配置环境变量（如HADOOP_HOME、PATH）。
2. 修改配置文件：
   • core-site.xml：设置默认文件系统URI（如hdfs://localhost:9000）。
   • hdfs-site.xml：配置副本数、数据存储路径等。
3. 格式化NameNode：首次启动前执行hdfs namenode -format。
4. 启动HDFS：运行start-dfs.sh启动NameNode、DataNode等进程。

三、集成其他服务

1. 与YARN集成（资源管理）

• 配置YARN：修改yarn-site.xml，设置ResourceManager地址及mapreduce_shuffle服务等。
• 启动YARN：执行start-yarn.sh，通过jps查看ResourceManager、NodeManager进程。
• 验证：提交MapReduce作业（如wordcount）测试资源调度。

2. 与ZooKeeper集成（高可用）

• 部署ZooKeeper：安装并配置zoo.cfg，在NameNode节点创建myid文件。
• 配置HDFS高可用：在hdfs-site.xml中指定ZooKeeper集群地址、JournalNode共享存储路径，启用自动故障切换。
• 启动服务：先启动ZooKeeper，再启动NameNode、JournalNode，通过hdfs haadmin -transitionToActive切换主备节点。

3. 与Spark集成（计算框架）

• 安装Spark：下载解压Spark包，配置SPARK_HOME及PATH。
• 修改配置：在spark-env.sh中指定HDFS地址，在core-site.xml中配置Spark临时目录。
• 测试：通过Spark Shell读写HDFS数据，验证集成。

4. 与Kafka/Flume集成（数据采集）

• Kafka集成：配置Kafka的server.properties，通过HDFS Sink将数据写入HDFS。
• Flume集成：在Flume配置文件中指定HDFS作为Sink，设置文件滚动策略。

四、验证与监控

• 进程检查：使用jps查看各服务进程是否正常运行。
• Web界面：访问HDFS（http://namenode:50070）、YARN（http://resourcemanager:8088）验证状态。
• 日志分析：查看/var/log/hadoop或服务日志，排查配置错误。

五、安全与优化

• 防火墙配置：开放HDFS（9000）、YARN（8088）等端口。
• 权限控制：通过HDFS权限机制（如ACL）限制数据访问。
• 集群监控：使用Ambari、Prometheus等工具监控节点状态、资源使用情况。

参考来源：[1,2,4,5,6,7,8,9,10,11]