在 Debian 上安装 Hadoop,一般可以按 6 个关键步骤 来完成(以 单机伪分布式模式 为例,这是最常见、最适合入门和测试的方案)。
Hadoop 依赖 Java 运行环境。
sudo apt update
sudo apt install openjdk-11-jdk -y
验证:
java -version
为了安全和规范,建议创建 hadoop 用户。
sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop
去官网或镜像站(以 3.3.6 为例):
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop
编辑 ~/.bashrc:
nano ~/.bashrc
添加:
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
生效:
source ~/.bashrc
hadoop-env.shnano $HADOOP_HOME/etc/hadoop/hadoop-env.sh
设置:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
测试:
ssh localhost
hdfs namenode -format
start-dfs.sh
验证:
jps
应看到:
NameNode
DataNode
SecondaryNameNode
6 步:
如果你需要:
可以直接告诉我,我可以给你定制步骤。