在Ubuntu上运行Hadoop作业,首先要安装Hadoop,可参考以下步骤:
sudo apt update和sudo apt install openjdk-11-jdk命令安装OpenJDK。tar -xzvf命令解压到指定目录,如/usr/local。~/.bashrc文件,添加export HADOOP_HOME=/usr/local/hadoop和export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin,然后执行source ~/.bashrc。HADOOP_HOME/etc/hadoop目录下,根据需求编辑core-site.xml、hdfs-site.xml等配置文件。hdfs namenode -format命令。start-dfs.sh和start-yarn.sh命令启动。运行Hadoop作业的命令为yarn jar /path/to/your/mapreduce-job.jar YourMainClass input_path output_path。其中,/path/to/your/mapreduce-job.jar是作业的JAR包路径,YourMainClass是作业的主类名,input_path是输入文件路径,output_path是输出文件路径。