Ubuntu如何安装Hadoop

在Ubuntu上安装Hadoop的步骤如下：

1. 安装Java：

• Hadoop是基于Java开发的，因此需要先安装Java开发环境。

• 在终端中运行以下命令来安装默认的Java运行时环境(JRE)：

  sudo apt update
  sudo apt install default-jdk
  

2. 安装SSH：

• Hadoop集群需要使用SSH进行节点之间的通信和管理。

• 运行以下命令来安装SSH：

  sudo apt install openssh-server
  

3. 生成SSH密钥：

• 在安装Hadoop前，需要为当前用户生成SSH密钥对。

• 运行以下命令生成SSH密钥：

  ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
  

4. 下载和解压Hadoop：

• 从Apache Hadoop官方网站下载最新的Hadoop发行版。

• 下载完成后，解压文件到一个适当的位置，例如 /opt 目录下：

  wget https://downloads.apache.org/hadoop/common/hadoop-X.X.X/hadoop-X.X.X.tar.gz
  sudo tar -zxvf hadoop-X.X.X.tar.gz -C /opt
  

5. 配置环境变量：

• 编辑 ~/.bashrc 文件，并添加以下配置：

  export HADOOP_HOME=/opt/hadoop-X.X.X
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

6. 配置Hadoop：

• 进入Hadoop的配置目录，编辑 hadoop-env.sh 文件，将 JAVA_HOME 设置为Java的安装路径：

  cd /opt/hadoop-X.X.X/etc/hadoop
  nano hadoop-env.sh
  

• 修改 JAVA_HOME 的值为Java的安装路径。

7. 配置Hadoop集群：

• 在Hadoop配置目录中，编辑 core-site.xml、hdfs-site.xml 和 mapred-site.xml 文件，根据需要进行配置。这些文件中包含了Hadoop集群的各项配置，如文件系统的URI、数据目录、任务调度等。

8. 格式化Hadoop文件系统：

• 在终端中运行以下命令来格式化Hadoop文件系统：

  hdfs namenode -format
  

9. 启动Hadoop：

• 运行以下命令启动Hadoop集群：

  start-dfs.sh
  start-yarn.sh
  

10. 验证安装：

• 在浏览器中访问Hadoop Web UI，查看集群的状态和信息。默认情况下，HDFS的Web UI可以通过 http://localhost:9870 访问，YARN的Web UI可以通过 http://localhost:8088 访问。

请注意，根据您的需求和环境，可能需要进行额外的配置和调整。建议查阅Hadoop官方文档和相关资源，以获取更详细的安装和配置指南。