当前位置: 移动技术网 > IT编程>数据库>其他数据库 > Spark环境搭建+编译部署+IDEA开发

Spark环境搭建+编译部署+IDEA开发

2018年02月24日  | 移动技术网IT编程  | 我要评论
一、准备工作: CentOS镜像:http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 二、用VMware搭建虚拟机集群 1.规划 master:1核、4G内存 slave1:1核、2G内存 slave2:1 ...

一、准备工作:

CentOS镜像:

二、用VMware搭建虚拟机集群

1.规划

master:1核、4G内存

slave1:1核、2G内存

slave2:1核、2G内存

2.搭建一个样板虚拟机

接下来进入安装,期间需设置语言、密码。

     

选择语言,我这里选择英文,您也可以下拉选择中文

等待数秒。。。

选择软件安装(重要)

这里给出中文翻译,参考选择

等待数秒,设置安装位置

点击一下就行

点进去自行设置密码、用户

完成,重启

然后

网络进去后在配置

————————————

3登录进入CentOS,进行相关配置

设置ip地址

注意:这里的ip,子网掩码,网关,DNS是根据我的笔记本电脑上的网络情况设定的,请您根据您的实际情况设置

这是我windows笔记本网络

设置主机名

a.打开终端,以root登录

[root@localhost spark]# vi /etc/sysconfig/network

       添加或修改:

          NETWORKING=yes

          HOSTNAME=slave3

b.

 

 

[root@localhost spark]# vi /etc/hosts

       添加:

192.168.1.191 master

192.168.1.192 slave1
192.168.1.193 slave2

(slave1、2 见下文)

关闭防火墙和SELinux(Hadoop和Spark运行时需要通过端口通信,关闭其就不会受到阻拦)

查看系统

[root@localhost spark]# rpm -q centos-release
centos-release-7-4.1708.el7.centos.x86_64

CentOS 7 查看防火墙状态

[root@localhost spark]# firewall-cmd --state
running

关闭并禁止开机启动防火墙

[root@localhost spark]# systemctl stop firewalld.service
[root@localhost spark]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost spark]# firewall-cmd --state
not running

关闭SELinux

[root@localhost spark]# vi /etc/selinux/config

       修改:SELINUX=disabled

重启

————————

更新OpenSSL(防止编译过程无法通过ssh连接节点)

[root@localhost spark]# yum update openssl

更改OpenSSL配置(确认使用RSA算法)

[root@localhost spark]# vi /etc/ssh/sshd_config

设置以下三项:

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

 重启ssh

[root@localhost spark]# service sshd restart

下载安装scala

未完待续。。。

 

如您对本文有疑问或者有任何想说的,请 点击进行留言回复,万千网友为您解惑!

相关文章:

验证码:
移动技术网