温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hdfs和yarn如何配置与启动

发布时间:2021-12-09 11:11:25 来源:亿速云 阅读:308 作者:小新 栏目:大数据

这篇文章主要介绍hdfs和yarn如何配置与启动,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

配置文件修改

配置文件在$HADOOP_HOME/etc/hadoop/目录下面,hdfs和yarn一共需要配置五个文件:

第1个:hadoop-env.sh
	export JAVA_HOME=/usr/java/jdk1.7.0_65

第2个:core-site.xml:
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop/data/hadoop</value>
	</property>
		
第3个:hdfs-site.xml,hdfs-default.xml
	<property>
			<name>dfs.replication</name>
			<value>1</value>
	</property>
	
第4个:mapred-site.xml
	mv mapred-site.xml.template mapred-site.xml
	vim mapred-site.xml
	
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	
第5个:yarn-site.xml
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
第六个:slaves文件,该文件用于指示在哪些机器上启动datanode进程
slave01
slave02
slave03

格式化namenode

hdfs namenode -format

启动hdfs

$HADOOP_HOME/sbin/start-dfs.sh

启动yarn

$HADOOP_HOME/sbin/start-yarn.sh

以上是“hdfs和yarn如何配置与启动”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI