Hadoop在Linux上如何启动

linux

小樊

2025-06-15 10:30:05

栏目: 智能运维

在Linux上启动Hadoop集群涉及多个步骤，包括配置Hadoop环境、启动HDFS（Hadoop分布式文件系统）和YARN（Yet Another Resource Negotiator）。以下是一个基本的步骤指南：

1. 配置Hadoop环境

1.1 下载并解压Hadoop

首先，你需要下载Hadoop并解压到你的Linux系统上。你可以从Hadoop官方网站下载最新版本的Hadoop。

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

1.2 配置Hadoop环境变量

编辑/etc/profile或~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后使配置生效：

source /etc/profile

1.3 配置Hadoop文件

编辑Hadoop配置文件，通常位于$HADOOP_HOME/etc/hadoop目录下。

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2. 格式化HDFS

在第一次启动Hadoop之前，你需要格式化HDFS：

hdfs namenode -format

3. 启动Hadoop集群

3.1 启动HDFS

start-dfs.sh

3.2 启动YARN

start-yarn.sh

4. 验证Hadoop集群

4.1 检查HDFS状态

hdfs dfsadmin -report

4.2 检查YARN状态

yarn node -list

5. 停止Hadoop集群

如果你需要停止Hadoop集群，可以使用以下命令：

5.1 停止YARN

stop-yarn.sh

5.2 停止HDFS

stop-dfs.sh

注意事项

确保所有节点上的Hadoop配置文件一致。
确保防火墙允许Hadoop所需的端口通信。
如果你在集群环境中工作，确保所有节点都已正确配置并加入集群。

通过以上步骤，你应该能够在Linux上成功启动Hadoop集群。