温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎样在Linux系统装Spark

发布时间:2025-08-24 15:15:30 来源:亿速云 阅读:114 作者:小樊 栏目:系统运维

在Linux系统安装Spark步骤如下:

  1. 环境准备

    • 安装JDK 8/11:sudo apt-get install openjdk-8-jdk(Ubuntu)或 sudo yum install java-11-openjdk(CentOS)。
    • (可选)安装Python 3:sudo apt-get install python3
    • (可选)安装Hadoop(若需使用HDFS):从官网下载并解压配置。
  2. 下载Spark
    官网获取最新版本,如:
    wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

  3. 解压与目录配置
    tar -xzf spark-*.tgz -C /opt,并重命名目录(可选):mv spark-* spark

  4. 配置环境变量
    编辑~/.bashrc~/.zshrc,添加:

    export SPARK_HOME=/opt/spark  
    export PATH=$SPARK_HOME/bin:$PATH  
    export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH  # 若需PySpark  
    

    执行source ~/.bashrc使配置生效。

  5. 验证安装
    运行spark-shell(Scala)或pyspark(Python),若出现交互式界面则安装成功。

集群模式(可选)

  • 配置spark-env.sh(设置SPARK_MASTER_HOST等)和slaves文件(添加节点IP)。
  • 启动集群:./sbin/start-master.sh + ./sbin/start-worker.sh spark://master-ip:7077

注意事项

  • 确保Java版本与Spark兼容(推荐JDK 8/11)。
  • 若需使用特定Hadoop版本,下载对应spark-*.bin-hadoop*.tgz包。

参考来源:

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI