Debian系统下Hadoop安装步骤解析

在Debian系统下安装Hadoop的步骤如下：

1. 环境准备：

• 确保你的系统是Debian，并且已经更新到最新版本。
• 安装Java Development Kit (JDK) 1.8或更高版本，以及SSH服务用于节点间的通信。

2. 下载Hadoop：

• 访问Hadoop官网，点击“Download”进入下载页面。
• 推荐下载最新稳定版，例如Hadoop 3.3.1。
• 下载对应的tar.gz文件并保存到本地。

3. 安装Hadoop：

• 解压下载的Hadoop文件：

tar -xzvf hadoop-3.3.1.tar.gz

• 将解压后的目录移动到合适的安装位置，例如 /usr/local/hadoop ：

sudo mv hadoop-3.3.1 /usr/local/hadoop

• 配置环境变量：

echo 'export HADOOP_HOME=/usr/local/hadoop' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile

• 使配置生效：

source /etc/profile

4. 配置Hadoop：

• 在Hadoop目录下，编辑以下配置文件：

  • core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

• hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/dfs/data</value>
    </property>
</configuration>

• mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5. 格式化HDFS：

• 在NameNode上运行以下命令格式化HDFS：

hdfs namenode -format

6. 启动Hadoop服务：

• 在NameNode上启动Hadoop的NameNode和DataNode：

start-dfs.sh

• 在ResourceManager上启动YARN：

start-yarn.sh

7. 验证安装：

• 检查Hadoop版本：

hadoop version

• 运行一个简单的WordCount示例来验证安装是否成功。

如果在安装过程中遇到任何问题，请检查日志文件以获取更多信息。