Hadoop在Linux上的安装步骤是什么

在Linux系统上安装Hadoop的步骤大致可以分为以下几个部分：

准备工作

1. 安装Java JDK：

• 确保你的Linux系统已经安装了Java JDK（建议版本为JDK 8）。
• 可以从Oracle官网下载适合的版本。

2. 下载Hadoop：

• 从Hadoop的官方网站下载最新稳定版本的Hadoop。

3. 配置网络设置：

• 编辑网络配置文件（如 /etc/sysconfig/network-scripts/ifcfg-ens33）以设置静态IP地址。
• 配置主机名（hostname）并在 /etc/hosts 文件中添加IP地址和主机名的映射。

4. 配置SSH无密码登录：

• 生成SSH密钥对并分发到所有节点。
• 编辑 /etc/sudoers 文件以允许特定用户无需密码执行sudo命令。

安装步骤

1. 解压Hadoop安装包：

• 将下载的文件解压到你选择的目录，例如 /usr/local/hadoop。

  tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
  

2. 配置环境变量：

• 编辑 /etc/profile 文件，添加Hadoop的路径和库路径。

  export HADOOP_HOME=/usr/local/hadoop-3.3.1
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

• 使配置文件生效：

  source /etc/profile
  

3. 修改Hadoop配置文件：

• 编辑 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml 文件，配置相应的参数。

  • core-site.xml：配置HDFS的URI。
  • hdfs-site.xml：配置HDFS的副本数和其他参数。
  • mapred-site.xml：配置MapReduce框架。
  • yarn-site.xml：配置YARN资源管理器。

4. 格式化HDFS：

• 在首次启动Hadoop之前，需要对HDFS进行格式化。

  hdfs namenode -format
  

5. 启动Hadoop集群：

• 启动HDFS和YARN服务。

  start-dfs.sh
  start-yarn.sh
  

6. 验证安装：

• 使用 jps 命令检查Hadoop进程是否正常运行。
• 打开浏览器，访问 http://localhost:50070 查看HDFS的状态，访问 http://localhost:8088 查看YARN的状态。

注意事项

• 确保所有节点的配置文件（如 core-site.xml，hdfs-site.xml 等）中的配置一致。
• 在配置SSH无密码登录时，确保所有节点的公钥都已正确分发。
• 根据实际环境和需求调整具体步骤。

以上步骤提供了一个基本的指南，具体操作可能会因不同的Linux发行版和Hadoop版本而略有差异，建议参考官方文档和相关教程进行详细配置。