温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

spack安装使用

发布时间:2020-06-12 07:48:28 来源:网络 阅读:807 作者:yr_linux运维 栏目:大数据

前提:JDK1.8,无密互通,zookeeper,hadoop
使用服务器列表

master slave1 slave2
192.168.3.58 192.168.3.54 192.168.3.31
QuorumPeerMain QuorumPeerMain QuorumPeerMain
NameNode
DataNode DataNode DataNode
JournalNode JournalNode JournalNode
ResourceManager
NodeManager NodeManager NodeManager
DFSZKFailoverController DFSZKFailoverController
Master
Worker Worker Worker

scala

什么是scala(百度百科)

Scala是一门多范式的编程语言,一种类似java的编程语言[1] ,设计初衷是实现可伸缩的语言[2] 、并集成面向对象编程和函数式编程的各种特性。

下载、安装scala

官方下载地址:http://www.scala-lang.org/download/
下载
cd /data
wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz
tar axf scala-2.12.4.tgz
添加环境变量
vim /etc/profile

#scala
export SCALA_HOME=/data/scala-2.12.4
export PATH=$PATH:${SCALA_HOME}/bin

source /etc/profile
检验
scala -version
spack安装使用
显示版本信息说明安装成功

spark

什么是spark

官方说明:apache spark is a fast and general engine for large-scale data processing.
渣渣翻译:spark是一个能够快速处理并且通用的大数据计算引擎。
百度百科:Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

继续百度百科:
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

下载、安装spark

官网:http://spark.apache.org/
这里听从了前辈的建议,使用较最新版本低一两个版本的
cd /data
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.1.2/spark-2.1.2-bin-hadoop2.7.tgz
tar axf spark-2.1.2-bin-hadoop2.7.tgz
添加环境变量
vim /etc/profile

#spack
export SPARK_HOME=/data/spark-2.1.2-bin-hadoop2.7
export PATH=$PATH:${SPARK_HOME}/bin

source /etc/profile

修改配置文件
cd ${SPARK_HOME}/conf
cp fairscheduler.xml.template fairscheduler.xml
cp log4j.properties.template log4j.properties
cp slaves.template slaves
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-site.conf

vim slaves
#删除localhost,添加worker节点信息

master
slave1
slave2

vim spark-env.sh
#添加如下信息:JAVA_HOME、SCALA_HOME、SPARK_MASTER_IP、SPARK_WORKER_MEMORY、HADOOP_CONF_DIR

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/data/scala-2.12.4
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop/

vim spark-site.conf

 spark.master                     spark://master:7077

将文件拷贝到其他节点
scp -r /data/scala-2.12.4 slave1:/data
scp -r /data/scala-2.12.4 slave2:/data
scp -r /data/spark-2.1.2-bin-hadoop2.7 slave1:/data
scp -r /data/spark-2.1.2-bin-hadoop2.7 slave2:/data
scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc

启动集群
cd ${SPARK_HOME}/sbin
./start-all.sh

单节点启动master
cd ${SPARK_HOME}/sbin
./start-master.sh

单节点启动slave
./start-slave.sh


多master,实现HA

所有节点进行修改
修改spark-site.conf
vim spark-site.conf

spark.master                     spark://master:7077,slave1:7077,slave2:7077

修改spark-env.sh指定zookeeper集群
vim spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/data/spark-2.1.2-bin-hadoop2.7"

启动集群
master节点
cd ${SPARK_HOME}/sbin
./start-all.sh

slave1节点
cd ${SPARK_HOME}/sbin
./start-master.sh

slave2节点
cd ${SPARK_HOME}/sbin
./start-master.sh

查看状态
IP:8080
spack安装使用
spack安装使用
spack安装使用

故障转移测试
kill掉master上的Master进程
spack安装使用
spack安装使用
spack安装使用
spack安装使用

参考:https://www.cnblogs.com/liugh/p/6624923.html

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI