Hadoop在Linux下如何高效配置

在Linux下高效配置Hadoop可以遵循以下步骤：

环境准备

• 选择合适的Linux发行版：推荐使用Ubuntu 20.04 LTS或CentOS 7，因为它们有稳定的社区支持和丰富的文档资源。
• 安装Java环境：Hadoop需要Java运行环境，推荐使用OpenJDK。使用以下命令安装：

  sudo apt update
  sudo apt install openjdk-11-jdk
  

• 更新系统包：确保系统包是最新的：

  sudo apt update && sudo apt upgrade
  

Hadoop安装与配置

• 下载Hadoop：从Apache Hadoop官网下载最新版本的Hadoop安装包，例如Hadoop 3.3.5。
• 解压Hadoop：将下载的压缩包解压到指定目录，例如 /usr/local/hadoop：

  sudo tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/hadoop
  

• 配置环境变量：编辑 /.bashrc 文件，添加以下内容：

  export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

• 使配置生效：

  source ~/.bashrc
  

• 配置Hadoop核心文件：
  • core-site.xml：

    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
    </configuration>
    

  • hdfs-site.xml：

    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/dfs/namenode</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/dfs/datanode</value>
      </property>
    </configuration>
    

  • mapred-site.xml（可选，如果需要YARN支持）：

    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>
    

  • yarn-site.xml：

    <configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>
    

SSH免密登录配置

• 生成SSH密钥：

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  

• 将公钥复制到其他节点：

  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  ssh-copy-id hadoop@node2
  ssh-copy-id hadoop@node3
  

启动Hadoop集群

• 格式化NameNode：

  hdfs namenode -format
  

• 启动HDFS和YARN：

  start-dfs.sh
  start-yarn.sh
  

• 验证Hadoop是否启动成功：使用 jps 命令查看进程。
• 访问Hadoop Web界面：
  • HDFS: http://localhost:50070
  • YARN: http://localhost:8088

以上步骤涵盖了在Linux下高效配置Hadoop的基本流程，包括环境准备、安装与配置、SSH免密登录配置、启动Hadoop集群以及验证配置。根据具体需求和环境，可能还需要进行一些额外的配置和优化。