linux hadoop怎样集群部署

下面给你一个从零开始的 Linux + Hadoop 集群部署思路（以 Hadoop 3.x 为例，最常用、最稳定）。我会按「规划 → 环境 → 安装 → 配置 → 启动 → 验证」来讲，适合生产或学习用。

一、集群规划（示例）

假设 3 台机器：

主机名	IP	角色
master	192.168.1.10	NameNode / ResourceManager
slave1	192.168.1.11	DataNode / NodeManager
slave2	192.168.1.12	DataNode / NodeManager

也可单机伪分布式，但你说“集群”，按多机讲。

二、基础环境准备（所有节点）

1. 系统要求

Linux（CentOS 7/8、Ubuntu 20.04+ 都行）
Java 8 或 11（Hadoop 3 推荐 Java 8）

java -version

如果没有：

yum install java-1.8.0-openjdk-devel -y
# 或 Ubuntu
apt install openjdk-8-jdk -y

2. 配置主机名和 hosts

每个节点：

hostnamectl set-hostname master

所有节点 /etc/hosts：

192.168.1.10 master
192.168.1.11 slave1
192.168.1.12 slave2

3. 关闭防火墙（测试环境）

systemctl stop firewalld
systemctl disable firewalld

或开放端口（生产）：

8020 / 9000
50070 / 9870
8088

4. SSH 免密登录（关键）

在 master 上：

ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

验证：

ssh slave1

三、安装 Hadoop（所有节点）

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt
mv /opt/hadoop-3.3.6 /opt/hadoop

配置环境变量（/etc/profile）：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

四、Hadoop 配置文件（master 修改后分发）

路径：$HADOOP_HOME/etc/hadoop

1. hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0

2. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/dfs/data</value>
  </property>
</configuration>

4. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

6. workers（Hadoop 3）

slave1
slave2

五、分发配置

scp -r /opt/hadoop slave1:/opt/
scp -r /opt/hadoop slave2:/opt/

六、启动集群

1. 格式化 NameNode（仅一次）

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 启动 YARN

start-yarn.sh

七、验证

1. 进程检查

jps

master 应有：

NameNode
ResourceManager

slave 应有：

DataNode
NodeManager

2. Web 页面

HDFS: http://master:9870
YARN: http://master:8088

3. 测试 HDFS

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /test

八、常见坑

❌ 没配置 SSH 免密 → 启动失败
❌ 多次 format NameNode → 数据不一致
❌ 防火墙没关 → Web 打不开
❌ Java 版本不对

如果你愿意，我可以：

给你 一键部署脚本
讲 HA（高可用）集群
或针对 CentOS / Ubuntu 单独写一份

你现在是学习还是生产环境？