温馨提示×

linux hadoop怎么部署服务

小樊
46
2026-09-22 19:43:56
栏目: 智能运维

下面给你一个在 Linux 上部署 Hadoop(以单机/伪分布式为例)的清晰步骤。如果你说的是“部署 Hadoop 服务”(即启动 NameNode / DataNode / ResourceManager 等),也可以直接看后半部分。


一、环境准备(Linux)

1. 系统要求

  • Linux(CentOS / Ubuntu / Rocky 等)
  • JDK 8 或 JDK 11(Hadoop 3.x 推荐 JDK 8/11)
  • 普通用户(不建议用 root 跑 Hadoop)

2. 安装 JDK

# CentOS
yum install java-1.8.0-openjdk-devel -y

# Ubuntu
apt install openjdk-8-jdk -y

验证:

java -version

二、创建 Hadoop 用户(可选但推荐)

useradd hadoop
passwd hadoop
su - hadoop

三、下载并安装 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

四、配置环境变量

编辑 ~/.bashrc 或 /etc/profile:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效:

source ~/.bashrc

五、SSH 免密登录(必须)

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试:

ssh localhost

六、Hadoop 配置(伪分布式)

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

七、格式化并启动 Hadoop 服务

1. 格式化 HDFS

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 启动 YARN

start-yarn.sh

4. 查看进程

jps

应看到:

  • NameNode
  • DataNode
  • ResourceManager
  • NodeManager

八、Web 管理页面

  • HDFS: http://localhost:9870
  • YARN: http://localhost:8088

九、关闭 Hadoop 服务

stop-yarn.sh
stop-dfs.sh

十、常见部署方式说明

模式 说明
本地模式 不启动守护进程,仅测试
伪分布式 单台机器模拟集群(最常用)
完全分布式 多台机器,真实集群

如果你需要:

  • ✅ 完全分布式部署
  • ✅ 生产环境参数调优
  • ✅ Docker / K8s 部署 Hadoop
  • ✅ Hive / Spark 一起部署

告诉我你的使用场景,我可以直接给你对应方案。

0 踩