HDFS配置中Debian系统要求是什么

Debian 上配置 HDFS 的系统要求

一 操作系统与 Java

• 操作系统：建议使用 Debian 系列 Linux 发行版（稳定版），节点间需保持时间同步（可用 NTP）。
• Java 环境：需安装 Java 8 或更高版本（常见为 OpenJDK 8/11）。示例：sudo apt install openjdk-11-jdk 并验证 java -version。
• 用户与权限：建议创建专用的 hadoop 用户，配置 SSH 免密登录 以便集群启停与维护。

二 硬件与存储

• 计算与内存：每个节点至少 4 核 CPU，推荐 8 核+；每节点至少 16GB 内存，推荐 32GB+。
• 存储规划：
  • NameNode：优先使用 SSD，至少 500GB（元数据与高并发访问）。
  • DataNode：HDD/SSD 均可，按数据量规划，单节点推荐至少 2TB 裸容量（考虑副本后可用容量会下降）。
• 网络：节点间建议使用 千兆以太网，生产环境推荐 万兆以太网 以降低复制与心跳的网络瓶颈。

三 网络与主机规划

• 主机角色：至少包含 1 台 NameNode、多台 DataNode；若与 YARN 同机部署，还需 1 台 ResourceManager 与 多台 NodeManager。
• 主机名与解析：所有节点应在 /etc/hosts 或 DNS 中可互相解析，示例：

  192.168.1.10 namenode
  192.168.1.11 datanode1
  192.168.1.12 datanode2
  

• 端口与连通性：确保 9000（HDFS RPC，fs.defaultFS）、50070/9870（NameNode Web UI）、50075（DataNode Web UI）等端口在防火墙/安全组中放通。

四 文件系统与目录权限

• 目录规划（示例，按实际磁盘挂载调整）：
  • NameNode 元数据目录：/var/lib/hadoop-hdfs/namenode
  • DataNode 数据目录：/var/lib/hadoop-hdfs/datanode
  • 临时目录：/var/cache/hadoop/tmp
• 权限与属主：上述目录建议归属 hadoop:hadoop，权限 0755/0700，确保 HDFS 进程可读写；在 hdfs-site.xml 中通过 dfs.namenode.name.dir 与 dfs.datanode.data.dir 指定。

五 快速自检清单

• Java 已安装且 JAVA_HOME 正确（在 hadoop-env.sh 中设置）。
• 所有节点可 SSH 免密互通，主机名可解析。
• 防火墙/安全组已放行 9000/50070(9870)/50075 等端口。
• 目录已创建并赋权，磁盘挂载点容量与类型满足规划。
• 配置文件 core-site.xml、hdfs-site.xml 关键项（fs.defaultFS、dfs.replication、dfs.namenode.name.dir、dfs.datanode.data.dir）已按实际环境设置。