下面给你一个在 Linux 上部署 Hadoop(以单机/伪分布式为例)的清晰步骤。如果你说的是“部署 Hadoop 服务”(即启动 NameNode / DataNode / ResourceManager 等),也可以直接看后半部分。
# CentOS
yum install java-1.8.0-openjdk-devel -y
# Ubuntu
apt install openjdk-8-jdk -y
验证:
java -version
useradd hadoop
passwd hadoop
su - hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop
编辑 ~/.bashrc 或 /etc/profile:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
生效:
source ~/.bashrc
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
测试:
ssh localhost
core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
hdfs namenode -format
start-dfs.sh
start-yarn.sh
jps
应看到:
http://localhost:9870http://localhost:8088stop-yarn.sh
stop-dfs.sh
| 模式 | 说明 |
|---|---|
| 本地模式 | 不启动守护进程,仅测试 |
| 伪分布式 | 单台机器模拟集群(最常用) |
| 完全分布式 | 多台机器,真实集群 |
如果你需要:
告诉我你的使用场景,我可以直接给你对应方案。