以下是在Linux上安装Spark的教程:
安装Java 8或更高版本,可通过sudo apt update和sudo apt install openjdk-8-jdk命令安装。若使用PySpark,需安装Python 3.6+;使用Scala API则需安装Scala。
访问Spark官方网站,下载适合的版本,如spark-3.3.1-bin-hadoop3.tgz,然后使用tar -xzf spark-3.3.1-bin-hadoop3.tgz命令解压。
在~/.bashrc或~/.zshrc文件中添加以下内容:
export SPARK_HOME=/path/to/spark-3.3.1-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
执行source ~/.bashrc使配置生效。
运行spark-shell --version或pyspark --version命令,若显示版本信息,则安装成功。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。