spark安装教程

spark安装

spark安装

IP

192.168.42.121

192.168.42.122

192.168.42.123

映射名

master

slave1

slave2

  1. 1.用xftp上传spark压缩包到/usr/local/src/中,解压到此目录中,

tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz

spark安装教程

 

2.改名为spark

mv spark-2.3.1-bin-hadoop2.7 spark

spark安装教程

3.将spark-env.sh.template配置模板文件复制一份并命名为spark-env.sh

cp spark-env.sh.template spark-env.sh

spark安装教程

 

4.修改spark-env.sh文件,在该文件最后位置添加以下内容:(其中的master是主机映射的IP)

#配置java环境变量

export JAVA_HOME=/usr/local/src/jdk1.8

#指定master的IP

export SPARK_MASTER_HOST=master

#指定Master的端口

export SPARK_MASTER_PORT=7077

spark安装教程

 

修改配置文件

复制slaves.template文件,并重命名为slaves

cp slaves.template slaves

修改spark-env.sh文件,在该文件添加以下内容:通过“vi slaves”命令编辑slaves配置文件,主要是指定spark集群中的从节点IP,由于在hosts文件中已经配置了IP和主机名的映射关系,因此直接使用主机名代替IP,添加内容如下:

spark安装教程

slave1

slave2

spark安装教程

分发文件

修改完成配置文件后,将spark目录分发至slave1和slave2节点

scp -r /usr/local/src/spark/  root@slave1:/usr/local/src/spark

scp -r /usr/local/src/spark/  root@slave2:/usr/local/src/spark

启动spark集群

切换到spark目录(usr/local/src/spark)

sbin/start-all.sh

spark安装教程

 

master集群进程

spark安装教程

 

Slave1集群进程

spark安装教程

 

Slave2集群进程

spark安装教程

 

spark安装教程

 

HA高可用

原理:

Spark standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着master单点故障的问题?

如何解决这个问题呢?Spark提供了两种方案:

  1. 基于文件系统的单点恢复(Single-Node Recovery with Local File System)只能用于开发或测试环境。
  2. 基于zookeeper的Standby Master(Standby Master with Zookeeper)可用于生产环境

配置HA

首先启动一个Zookeeper集群,然后在不同节点上启动master,注意这些节点需要具有相同的zookeeper配置。

先停止spark集群(/usr/local/src/spark/sbin下)

stop-all.sh

spark安装教程

 

在master节点上配置:

vi /usr/local/src/spark/conf/spark-env.sh

注释掉master配置

spark安装教程

 

继续在里面添加内容

export SPARK_DAEMON_JAVA_OPTS=”-Dspark.deploy.recoveryMode=ZOOKEEPER

-Dspark.deploy.zookeeper.url=master:2182,slave1:2181,slave2:2181

-Dspark.deploy.zookeeper.dir=/spark”

spark安装教程

分发配置文件到slave1和slave2

spark安装教程

spark安装教程

启动zk集群

zkServer.sh start

在master节点上启动spark集群

start-all.sh

在slave1节点中启动master:要加上“./”

./start-master.sh

注意:

在普通模式下启动spark集群,只需要在主节点上执行start-all.sh就可以了

在高可用模式下启动spark集群,先需要在任意一台主节点(master)执行start-all.sh,然后再另外一台主节点(slave1)单独执行start-master.sh

master节点上是ALIVE

spark安装教程

 

spark安装教程

 

Slave1上是STANDBY

spark安装教程

spark安装教程 

spark安装教程 

关闭master节点上的master进程,或者通过jps查看master进程端id,在杀死它,任选一种即可。

1.杀死master节点master进程端口id

spark安装教程

 

2.停止master节点的master进程

./stop-master.sh

spark安装教程

spark安装教程 

 

刷新slave1的web界面,显示成ALIVE

spark安装教程

 

再次启用master节点的master进程,显示master节点是STANDBY

spark安装教程

 

启动spark的命令是(在usr/local/src/spark中):

./bin/spark-shell

spark安装教程

 

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/4842.html

(1)
上一篇 2022-12-08 16:31
下一篇 2022-12-08 16:31

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信