一、准备工作:
CentOS镜像:
二、用VMware搭建虚拟机集群
1.规划
master:1核、4G内存
slave1:1核、2G内存
slave2:1核、2G内存
2.搭建一个样板虚拟机
接下来进入安装,期间需设置语言、密码。
选择语言,我这里选择英文,您也可以下拉选择中文
等待数秒。。。
选择软件安装(重要)
这里给出中文翻译,参考选择
等待数秒,设置安装位置
点击一下就行
点进去自行设置密码、用户
完成,重启
然后
网络进去后在配置
————————————
3登录进入CentOS,进行相关配置
设置ip地址
注意:这里的ip,子网掩码,网关,DNS是根据我的笔记本电脑上的网络情况设定的,请您根据您的实际情况设置
这是我windows笔记本网络
设置主机名
a.打开终端,以root登录
[root@localhost spark]# vi /etc/sysconfig/network
添加或修改:
NETWORKING=yes
HOSTNAME=slave3
b.
[root@localhost spark]# vi /etc/hosts
添加:
192.168.1.191 master
192.168.1.192 slave1
192.168.1.193 slave2
(slave1、2 见下文)
关闭防火墙和SELinux(Hadoop和Spark运行时需要通过端口通信,关闭其就不会受到阻拦)
查看系统
[root@localhost spark]# rpm -q centos-release centos-release-7-4.1708.el7.centos.x86_64
CentOS 7 查看防火墙状态
[root@localhost spark]# firewall-cmd --state running
关闭并禁止开机启动防火墙
[root@localhost spark]# systemctl stop firewalld.service [root@localhost spark]# systemctl disable firewalld.service Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service. [root@localhost spark]# firewall-cmd --state not running
关闭SELinux
[root@localhost spark]# vi /etc/selinux/config
修改:SELINUX=disabled
重启
————————
更新OpenSSL(防止编译过程无法通过ssh连接节点)
[root@localhost spark]# yum update openssl
更改OpenSSL配置(确认使用RSA算法)
[root@localhost spark]# vi /etc/ssh/sshd_config
设置以下三项:
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
重启ssh
[root@localhost spark]# service sshd restart
下载安装scala
未完待续。。。
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的,请 点击进行留言回复,万千网友为您解惑!
网友评论