在Debian上搭建Hadoop高可用性集群,可参考以下步骤:
/etc/hosts文件中设置映射。同时,禁用防火墙和SELinux,配置SSH免密码登录。zoo.cfg文件,配置集群节点信息,如server.1=node1:2888:3888等,启动ZooKeeper服务。core-site.xml,设置HDFS的默认文件系统和ZooKeeper连接地址。在hdfs-site.xml中,配置NameNode的高可用参数,如dfs.nameservices、dfs.ha.namenodes、dfs.namenode.shared.edits.dir等,还需配置JournalNode以存储NameNode编辑日志。yarn-site.xml,设置ResourceManager和NodeManager的高可用参数,如yarn.resourcemanager.ha.enabled等。start-dfs.sh和start-yarn.sh脚本分别启动HDFS和YARN服务。hdfs dfsadmin -report和yarn node -list命令检查集群状态,模拟NameNode或ResourceManager故障,验证故障转移是否正常。