Ubuntu Hadoop 集群如何搭建

搭建Ubuntu Hadoop集群是一个复杂的过程，涉及多个步骤和组件。以下是一个详细的步骤指南，帮助你在Ubuntu上搭建Hadoop集群：

1. 环境准备

• 硬件准备：确保你有足够数量的计算机作为集群节点，每台计算机都需要满足一定的硬件要求，包括CPU、内存、硬盘和网络连接。
• 软件准备：安装Ubuntu操作系统，并确保所有节点都运行相同版本的Ubuntu。

2. 网络配置

• 修改主机名：在每台节点上修改/etc/hostname文件中的机器名。
• 获取IP：获取每台节点的IP地址。
• 添加IP和主机名的映射关系：修改每台节点的/etc/hosts文件，添加上述IP和机器名的对应关系。

3. SSH无密码登录配置

• 生成密钥：在Master节点上生成SSH密钥对。
• 分发公钥：将Master节点的公钥分发到所有Slave节点，并在各节点上将公钥加入授权。

4. 安装Java环境

• 安装JDK：使用以下命令安装JDK 1.8：

  sudo apt-get update
  sudo apt-get install openjdk-8-jdk
  

• 配置Java环境变量：

  sudo nano /etc/profile
  

  在文件末尾添加以下内容：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  export PATH=$PATH:$JAVA_HOME/bin
  

  保存并关闭文件，然后运行以下命令使更改生效：

  source /etc/profile
  

5. 安装Hadoop

• 下载Hadoop：从Hadoop官方网站下载最新版本的Hadoop。

  wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  

• 解压Hadoop：

  sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local
  

• 配置Hadoop环境变量：

  sudo nano /etc/profile
  

  在文件末尾添加以下内容：

  export HADOOP_HOME=/usr/local/hadoop-3.3.1
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

  保存并关闭文件，然后运行以下命令使更改生效：

  source /etc/profile
  

6. 配置Hadoop

• 进入Hadoop目录并编辑配置文件：

  cd /usr/local/hadoop-3.3.1/etc/hadoop
  

  • 编辑hadoop-env.sh文件：

    sudo nano hadoop-env.sh
    

    找到以下行并设置JAVA_HOME：

    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    

  • 编辑core-site.xml文件：

    sudo nano core-site.xml
    

    添加以下内容：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
    </configuration>
    

  • 编辑hdfs-site.xml文件：

    sudo nano hdfs-site.xml
    

    添加以下内容：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/data/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop/data/datanode</value>
        </property>
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
    </configuration>
    

  • 编辑mapred-site.xml文件：

    sudo nano mapred-site.xml
    

    添加以下内容：

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

  • 编辑yarn-site.xml文件：

    sudo nano yarn-site.xml
    

    添加以下内容：

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
    </configuration>
    

7. 格式化Hadoop文件系统

• 在终端中，运行以下命令以格式化Hadoop文件系统：

  hdfs namenode -format
  

8. 启动Hadoop

• 在终端中，使用以下命令启动Hadoop：

  start-all.sh
  

9. 验证Hadoop安装

• 在浏览器中访问http://localhost:50070，如果能够看到Hadoop集群的Web界面，则表示Hadoop安装成功。

以上步骤提供了一个基本的Ubuntu Hadoop集群搭建流程。根据具体需求，可能还需要进行更多的配置和优化。