Linux下Hadoop如何配置

在Linux下配置Hadoop涉及多个步骤，以下是一个基本的指南：

环境准备

1. 安装Java环境：

• 确保已安装JDK。在Ubuntu上，可以使用以下命令安装JDK：

  sudo apt-get update
  sudo apt-get install openjdk-8-jdk
  

• 在CentOS上，可以使用以下命令安装JDK：

  sudo yum install java-1.8.0-openjdk-devel
  

• 检查Java安装状态：

  java -version
  

2. 配置SSH免密登录：

• 在主节点上生成SSH密钥对：

  ssh-keygen -t rsa
  

• 将公钥复制到所有从节点的~/.ssh/authorized_keys文件中：

  ssh-copy-id hd@hadoop02
  ssh-copy-id hd@hadoop03
  

• 测试免密登录：

  ssh hd@hadoop02
  

安装Hadoop

1. 下载并解压Hadoop：

• 从Hadoop官方网站下载最新版本的Hadoop，并解压到指定目录，例如/opt/hadoop。

• 在Ubuntu上，可以使用以下命令下载Hadoop：

  wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
  

• 解压Hadoop的命令：

  sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop
  

2. 配置环境变量：

• 编辑~/.bashrc文件，添加以下内容：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  export HADOOP_HOME=/opt/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

• 使修改生效：

  source ~/.bashrc
  

配置Hadoop

1. 修改Hadoop配置文件：

• core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/app/hadoop/tmp</value>
      </property>
  </configuration>
  

• hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/path/to/hadoop/data/dfs/namenode</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/path/to/hadoop/data/dfs/datanode</value>
      </property>
  </configuration>
  

• mapred-site.xml（可选，如果需要YARN支持）：

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>
  

• yarn-site.xml：

  <configuration>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
  </configuration>
  

2. 初始化HDFS文件系统：

• 在主节点上运行以下命令，将格式化HDFS：

  hdfs namenode -format
  

3. 启动Hadoop集群：

• 在主节点上运行以下命令来启动Hadoop集群：

  start-dfs.sh
  start-yarn.sh
  

4. 验证Hadoop集群的状态：

• 使用以下命令检查Hadoop集群的状态：

  jps
  

• 查看HDFS状态：

  hdfs dfsadmin -report
  

• 查看YARN状态：

  yarn node -list
  

请注意，以上步骤是一个基本的Hadoop配置流程，具体配置可能会因不同的需求和环境而有所不同。