温馨提示×

Debian装Hadoop要几步

小樊
45
2026-08-02 11:21:07
栏目: 智能运维

在 Debian 上安装 Hadoop,一般可以按 6 个关键步骤 来完成(以 单机伪分布式模式 为例,这是最常见、最适合入门和测试的方案)。


一、准备环境(1 步)

1. 安装 Java(必须)

Hadoop 依赖 Java 运行环境。

sudo apt update
sudo apt install openjdk-11-jdk -y

验证:

java -version

二、创建专用用户(1 步)

为了安全和规范,建议创建 hadoop 用户。

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

三、下载并安装 Hadoop(1 步)

1. 下载 Hadoop

去官网或镜像站(以 3.3.6 为例):

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2. 解压并移动到合适目录

tar -xzvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop

四、配置环境变量(1 步)

编辑 ~/.bashrc

nano ~/.bashrc

添加:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

生效:

source ~/.bashrc

五、配置 Hadoop(1 步,核心)

1. 配置 hadoop-env.sh

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

设置:

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2. 配置核心文件(伪分布式)

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

六、启动 Hadoop(1 步)

1. 设置 SSH 免密登录

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试:

ssh localhost

2. 格式化 HDFS

hdfs namenode -format

3. 启动 Hadoop

start-dfs.sh

验证:

jps

应看到:

NameNode
DataNode
SecondaryNameNode

✅ 总结:Debian 装 Hadoop 到底要几步?

6 步:

  1. 安装 Java
  2. 创建 hadoop 用户
  3. 下载并安装 Hadoop
  4. 配置环境变量
  5. 配置 Hadoop(核心)
  6. SSH + 格式化 + 启动

如果你需要:

  • 完全分布式(多节点)
  • YARN / MapReduce
  • Debian 12 特定问题
  • 生产环境优化

可以直接告诉我,我可以给你定制步骤。

0