Hadoop在Linux上如何配置

在Linux上配置Hadoop的步骤如下：

1. 配置Linux系统基础环境

• 查看服务器IP地址：使用命令 ip address show 查看服务器IP地址。
• 设置主机名：使用命令 hostnamectl set-hostname master 设置主机名为master。
• 绑定主机名与IP地址：可以通过修改 /etc/hosts 文件来实现。

2. 安装Java环境

• 安装Java：根据Linux发行版，使用相应的包管理器安装JDK。例如，在Ubuntu上使用 sudo apt install openjdk-8-jdk，在CentOS上使用 sudo yum install java-1.8.0-openjdk-devel。
• 配置Java环境变量：编辑 /etc/profile 文件，添加 export JAVA_HOME=/usr/local/java 和 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin，然后使用 source /etc/profile 使其生效。

3. 下载并解压Hadoop安装包

• 从Apache官方网站下载Hadoop安装包，例如Hadoop 2.7.6版本，使用命令 wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz。
• 解压安装包到指定目录，例如 /usr/local/hadoop-2.7.6。

4. 配置Hadoop环境变量

• 编辑 .bashrc 文件：添加以下内容：

  export HADOOP_HOME=/usr/local/hadoop-2.7.6
  export JAVA_HOME=/usr/local/java
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

• 使修改生效：使用命令 source ~/.bashrc。

5. 配置Hadoop配置文件

• 配置 core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
  </configuration>
  

• 配置 hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/data/hadoop/hdfs/name</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/data/hadoop/hdfs/data</value>
      </property>
  </configuration>
  

• 配置 mapred-site.xml：

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>
  

6. 格式化HDFS

• 在启动Hadoop之前，需要格式化HDFS：

  hdfs namenode -format
  

7. 启动Hadoop服务

• 启动HDFS：

  start-dfs.sh
  

• 启动YARN：

  start-yarn.sh
  

8. 验证Hadoop是否成功安装

• 使用命令 jps 查看Hadoop进程，如果显示了NameNode和DataNode的进程，说明Hadoop已成功配置。

以上步骤是在Linux系统上配置Hadoop的基本流程，具体配置可能会因Hadoop版本和Linux发行版的不同而有所差异。建议参考官方文档进行详细配置。