当前位置： 移动技术网 > IT编程>开发语言>.net > Spark快速入门系列(6) | Spark环境搭建—standalone(3) 配置HA高可用模式

Spark快速入门系列(6) | Spark环境搭建—standalone(3) 配置HA高可用模式

2020年07月19日  | 移动技术网IT编程  | 我要评论

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/

  此篇为大家带来的是Spark环境搭建—standalone(3) 配置HA高可用模式。
1

目录

2

一. 原理

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。

如何解决这个单点故障的问题，Spark提供了两种方案：

  • 1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)–只能用于开发或测试环境。
  • 2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)–可以用于生产环境。

3
  可以启动多个 master, 先启动的处于 Active 状态, 其他的都处于 Standby 状态。

二. 配置HA

  HA配置起来很简单，首先启动一个ZooKeeper集群，然后在不同节点上启动Master，注意这些节点需要具有相同的zookeeper配置。

  • 1. 修改spark-env.sh配置
[bigdata@hadoop002 spark]$ cd conf/
[bigdata@hadoop002 conf]$ vim spark-env.sh 


# 注释掉如下内容：
#SPARK_MASTER_HOST=hadoop002
#SPARK_MASTER_PORT=7077

# 添加上如下内容：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop002:2181,hadoop003:2181,hadoop004:2181 -Dspark.deploy.zookeeper.dir=/spark"

4
参数说明：

1. spark.deploy.recoveryMode：恢复模式
2. spark.deploy.zookeeper.url：ZooKeeper的Server地址
3. spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息。
  • 2. 分发配置文件
// copy到hadoop003
scp /opt/module/spark/conf/spark-env.sh hadoop003:/opt/module/spark/conf/

// copy到hadoop004
scp /opt/module/spark/conf/spark-env.sh hadoop004:/opt/module/spark/conf/

5

  • 3. 启动 Zookeeper
[bigdata@hadoop002 spark]$ cd /opt/module/zookeeper-3.4.10/
[bigdata@hadoop002 zookeeper-3.4.10]$ bin/start-allzk.sh

6

  • 4. 在 hadoop002 启动全部节点
[bigdata@hadoop002 module]$ cd spark/
[bigdata@hadoop002 spark]$ start-all.sh

7

  • 5. 在 hadoop003 启动一个 master
[bigdata@hadoop003 spark]$ sbin/start-master.sh

8

  • 6. 查看 master 的状态

9
10
注意:

在普通模式下启动spark集群
只需要在主节点上执行start-all.sh 就可以了
在高可用模式下启动spark集群
先需要在任意一台主节点上执行start-all.sh
然后在另外一台主节点上单独执行start-master.sh

三. 测试HA

测试主备切换

在hadoop002上使用jps查看master进程id
使用kill -9 id号强制结束该进程
稍等片刻后刷新hadoop003的web界面发现hadoop003为Alive

11
12
13
  本次的分享就到这里了,

14

  好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。
  如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞” “评论”“收藏”一键三连哦！听说点赞的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。
  码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！

15
16

本文地址：https://blog.csdn.net/qq_16146103/article/details/107403917

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网