在 CentOS 上启动 HDFS,通常分为 单机(伪分布式) 和 集群 两种情况。下面以 Hadoop 伪分布式(最常用) 为例说明,适合学习和测试。
java -version
已安装 Hadoop(假设安装在 /opt/hadoop)
已配置环境变量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
hdfs namenode -format
start-dfs.sh
jps
应看到:
hdfs dfs -ls /
或浏览器访问:
http://localhost:9870
(Hadoop 3.x 默认端口)
stop-dfs.sh
在 hadoop-env.sh 中设置:
export JAVA_HOME=/usr/java/jdk1.8.0_xxx
HDFS 启动依赖 SSH:
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
systemctl stop firewalld
如果你是要 CentOS 上的 Hadoop 集群启动,或 指定 Hadoop 版本(2.x / 3.x),可以告诉我,我可以给你更具体的步骤。