Debian 官方软件仓库默认包含 Hadoop 相关组件,但版本通常较旧,且完整 Hadoop 生态需用户自行配置或依赖第三方方案。以下是详细说明:
Debian 的稳定版(如 Debian 12 “Bookworm”)官方仓库中提供 Hadoop 的核心组件,但版本通常滞后于 Apache 最新版:
hadoop(核心)、hadoop-common、hadoop-hdfs、hadoop-yarn、hadoop-mapreduce 等。若需要最新 Hadoop 版本或完整生态工具,不建议依赖 Debian 官方仓库,推荐以下方案:
从 Apache Hadoop 官网 下载最新稳定版(如 3.4.1),手动解压配置:
# 示例:下载并解压
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz
tar -xzf hadoop-3.4.1.tar.gz -C /opt/
export HADOOP_HOME=/opt/hadoop-3.4.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
需自行配置 hadoop-env.sh、core-site.xml、hdfs-site.xml 等文件,适合熟悉 Hadoop 的用户。
用 Docker 或 Podman 运行 Hadoop 镜像,无需关心系统兼容性:
# 示例:用 Docker 运行 Hadoop 单机版
docker run -it --name hadoop -p 9870:9870 -p 8088:8088 harisekhon/hadoop
适合快速验证,生产环境需结合 Kubernetes 等编排工具。
sudo apt update && sudo apt install -y ssh rsync openjdk-11-jdk