在 CentOS 上安装 HDFS(Hadoop 分布式文件系统),通常可以按下面 7 个主要步骤 来做(以伪分布式或完全分布式为例,单节点最简):
master、slave1)/etc/hostssystemctl stop firewalld
systemctl disable firewalld
yum install java-1.8.0-openjdk-devel
useradd hadoop
passwd hadoop
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz -C /opt/
编辑 ~/.bashrc 或 /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc
主要改:
core-site.xmlhdfs-site.xmlhadoop-env.sh示例(伪分布式):
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
hdfs namenode -format
start-dfs.sh
验证:
jps
看到 NameNode、DataNode 即成功。
如果你是 单机测试 / 集群部署 / 使用 Docker,我可以给你更精简或更复杂的版本。