Hadoop 对 Debian(或其他 Linux 发行版)的要求,主要分为系统版本、依赖软件、硬件/内核参数、用户与权限几个方面。下面按实际部署经验给你梳理:
Hadoop 强依赖 JVM
| Hadoop 版本 | 推荐 Java |
|---|---|
| Hadoop 3.3.x | Java 8 / Java 11 |
| Hadoop 3.4.x | Java 11(推荐) |
| Hadoop 2.x | Java 8 |
Debian 上通常安装:
apt install openjdk-11-jdk
并配置:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
apt install ssh
ssh-keygen -t rsa
apt install wget curl tar gzip
ufw disable
# 或
ufw allow 9870
ufw allow 8088
/etc/hosts 配置 IP ↔ hostnameulimit -n 65536
ulimit -u 65536
并写入 /etc/security/limits.conf
swapoff -a
useradd -m hadoop
Debian + OpenJDK + SSH + 合理系统参数 = 可以跑 Hadoop
如果你愿意,我可以:
你现在是准备 学习 / 测试 / 生产 用?