在 Linux 上启动 Hadoop,通常分为 单机/伪分布式 和 完全分布式 两种情况。下面以最常见的 Hadoop 3.x 伪分布式模式 为例说明启动步骤。
java -version
ssh-keygen -t rsa
ssh-copy-id localhost
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
hdfs namenode -format
start-dfs.sh
start-yarn.sh
start-all.sh
jps
应看到:
浏览器访问:
http://localhost:9870http://localhost:8088stop-all.sh
hadoop-env.sh 中设置export JAVA_HOME=/usr/java/jdk1.8.0_xxx
如果你是 完全分布式集群 或 指定 Hadoop 版本(如 2.x / 3.x),可以告诉我,我给你对应启动方式。