Ubuntu Hadoop 安装步骤是什么

在Ubuntu上安装Hadoop的步骤大致可以分为以下几个部分：

1. 安装Java环境

• 下载并解压JDK到指定目录，例如/usr/lib/jvm/java-8-openjdk-amd64。
• 配置环境变量，将以下内容添加到~/.bashrc或/etc/profile文件中：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

• 使配置生效：

source ~/.bashrc

2. 安装SSH

• 安装SSH服务：

sudo apt-get install openssh-server

• 配置免密登录，生成密钥对并复制到其他节点。

3. 下载并解压Hadoop

• 从Hadoop官网下载稳定版本，例如Hadoop 3.3.6。
• 解压到指定目录，例如/usr/local/hadoop：

sudo tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local

• 修改目录权限：

sudo chown -R hadoop:hadoop /usr/local/hadoop

4. 配置Hadoop环境变量

• 编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，配置JDK路径。
• 编辑/usr/local/hadoop/etc/hadoop/core-site.xml，配置HDFS默认文件系统和临时目录。
• 编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml，配置HDFS副本数和目录。
• 编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml，配置MapReduce框架。
• 编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml，配置YARN资源管理器。

5. 初始化Hadoop集群

• 在主节点上执行以下命令初始化HDFS：

cd /usr/local/hadoop/sbin
./hdfs namenode -format

• 启动HDFS和YARN服务：

./start-dfs.sh
./start-yarn.sh

6. 验证安装

• 创建输入目录并上传测试数据：

mkdir -p /usr/local/hadoop/input
cp /usr/local/hadoop/etc/hadoop/*.xml /usr/local/hadoop/input
./bin/hadoop fs -put /home/hadoop/input /user/root/input

• 运行WordCount示例验证Hadoop是否安装成功：

./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/root/input /user/root/output

• 查看输出结果：

cat /usr/local/hadoop/output/*

请注意，以上步骤是基于Hadoop 3.3.6版本的安装指南，不同版本的Hadoop可能会有细微的配置差异。此外，如果是安装完全分布式集群，还需要配置从节点，并确保所有节点之间的网络通信正常。