温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

linux下如何搭建hadoop环境

发布时间:2022-04-16 15:18:53 来源:亿速云 阅读:175 作者:iii 栏目:开发技术

这篇文章主要介绍“linux下如何搭建hadoop环境”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“linux下如何搭建hadoop环境”文章能帮助大家解决问题。

1、下载hadoop包
wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
2、tar xvzf hadoop-0.20.2.tar.gz
3、安装jdk,从oracle网站上直接下载jdk,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
5、配置java环境变量 vi /etc/profile

复制代码 代码如下:

export java_home=/root/src/hadoop/jdk1.6.0_21
export classpath=$classpath:$java_home/lib:$java_home/jre/lib
export path=$path:$java_home/bin

在终端下执行 source /etc/profile 使配置生效

6、可以用以下命令查看
显示java版本 java -vesion

复制代码 代码如下:

echo $java_home
which java
echo $path
echo $classpath

如果java -version没有显示你的jdk的版本,请检查你的path的设置。

7、配置hadoop环境变量 vi /etc/profile

复制代码 代码如下:

export hadoop_install=/root/src/hadoop/hadoop-0.20.2
export path=$path:$hadoop_install/bin

source /etc/profile 使配置生效

8、测试环境
hadoop version 显示
hadoop 0.20.2
subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
compiled by chrisdo on fri feb 19 08:07:34 utc 2010

9、配置
hadoop每一个组件都使用一个xml文件配置,核心属性在core-site.xml中,hdfs属性在hdfs-site.xml中,mapreduce属性在mapred-site.xml中。这些文件都在conf子目录下。
hadoop有本地模式、伪分布模式和完全分布模式三种,默认配置为本地模式,没有守护进程,一切都运行在单个jvm上。

关于“linux下如何搭建hadoop环境”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注亿速云行业资讯频道,小编每天都会为大家更新不同的知识点。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI