我要评论安装前准备
主机和系统
|
host |
os |
memory |
ip |
|
bigdata001-dev |
cent os 7.4 x64 |
32g |
192.168.1.1 |
|
bigdata002-dev |
cent os 7.4 x64 |
32g |
192.168.1.2 |
|
bigdata003-dev |
cent os 7.4 x64 |
15g |
192.168.1.3 |
|
bigdata004-dev |
cent os 7.4 x64 |
32 |
192.168.1.4 |
安装包下载
下载 cloudera-manager.repo 文件
wget –p /etc/yum.repos.d https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
升级 gpg key
sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/rpm-gpg-key-cloudera
系统和环境配置
更改主机名
打开网络配置
sudo vim /etc/sysconfig/network
networking=yes
hostname=bigdata002-dev.novalocal
重启网络
sudo service network restart
配置hosts文件
打开hosts文件
sudo vim /etc/hosts
改为如下配置
192.168.1.3 bigdata003-dev.novalocal
192.168.1.2 bigdata002-dev.novalocal
192.168.1.1 bigdata001-dev.novalocal
192.168.1.4 bigdata004-dev.novalocal
关闭内存大页
在 /etc/rc.d/rc.local 中添加一下内容
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
所有机器安装java 8
旧版本卸载
#查看安装的java
rpm -qa | grep java
#卸载相应的java包
rpm –qa |grep jdk | xargs rpm -e --nodeps $1
下载 jdk tar包解压并配置环境变量
在你看到这篇文档的时候 oracle jdk 可能已经开始收费了。所以我们可以试试 openjdk ,cloudera 正在努力让自己的平台与 openjdk 适配，这应该不会花费太多时间
wget https://download.java.net/java/early_access/jdk8/b03/bcl/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz
tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –c /user/java/
配置环境变量
vim /etc/profile
# 添加一下内容
java_home=/usr/java/jdk1.8.0_202
path=$java_home/bin:$path
classpath=.:$java_home/lib
export java_home path classpath jre_home
关闭所有机器的防火墙和selinux
如果一个个配置端口的话会比较麻烦，所以在安装过程中就把防火墙关闭，可以在安装完成后再根据需求配置
关闭防火墙
关闭 iptables
service iptables stop
sudo chkconfig iptables off
关闭firewalld
systemctl disabled firewalld
我们的服务器 有salt 所以我们可以批量执行。在salt server 服务器
salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’
salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’
关闭selinux
临时关闭
sudo setenforce 0
salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’
salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’
如果要永久关闭，可以修改配置：
sudo vim /etc/selinux/config
修改以下配置
selinux=disabled
启动 ntp 服务
service ntpd start
chkconfig ntpd on
systemctl start ntpd
systemctl enable ntpd
salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’
salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’
注：如果不启动 ntpd 服务，scm agent 无法发现123 端口开放状态，会出现告警
cloudera manager server 和 agent 安装
yum 安装
yum 网络安装方式，如果你已经配置 yum 源
yum install cloudera-manager-daemons cloudera-manager-server
rpm 包安装
所有服务器都需要的操作：
我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装
yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs httpd mod_ssl python-psycopg2 redhat-lsb-core –y
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
rpm –ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
server 服务器
https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/rpms/x86_64/
下载 server rpm 包
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
rpm –ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
agent 服务器安装
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/rpms/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
rpm –ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
安装mysql
数据库这一步我们可以找dba 协助
在server 机安装配置mysql
sudo yum install mysql-server
设置开机启动
sudo chkconfig mysqld on
启动mysql service
sudo service mysqld start
设置root用户密码
sudo mysqladmin -u root password 'xxxx'
为cloudera manager建立数据库
下载mysql驱动：http://dev.mysql.com/downloads/connector/j/
解压把驱动的jar文件mysql-connector-java.jar上传到/usr/share/java/
初始化数据cloudera库
sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@hadoop0 --scm-host localhost scm mysql@hadoop:scm:88
如果dba已经帮我们处理完的数据库的事情，我们需要修改 数据库配置文件
c /etc/cloudear-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=www.mydatabase.com:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=devuser
com.cloudera.cmf.db.password=devuser123
com.cloudera.cmf.db.setuptype=external
在master机上启动cloudera manager server
systemctl start cloudera-scm-server
systemctl enable cloudera-scm-server
agent配置
在所有机器上配置master机的主机名
sudo vim /etc/cloudera-scm-agent/config.ini
把server_host设置成master机的主机名
server_host=192.1687.1.2
启动agent
systemctl start cloudera-scm-agent
systemctl enable cloudera-scm-agent
打开cloudera manager主页
http://192.168.1.10:7180/
第一次启动比较慢，可能需要等待几分钟才可以打得开cloudera manager主页。
登录cloudera manager
默认用户名密码都是admin，第一次登录成功之后先进入到cloudera manager的安装引导界面：
cdh安装
cdh文件上传
下载 cdh 安装包和 sha 验证文件
http://archive.cloudera.com/cdh5/parcels/5.15.0/
wget http://archive.cloudera.com/cdh5/parcels/5.15.0/cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
wget http://archive.cloudera.com/cdh5/parcels/5.15.0/cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
在通过 cloudera manager 进行网络安装cdh 的时候可能会比较慢，或卡住所以我们可以将已经下好的 cdh 包上传到server 端服务器上
把下载好的cdh-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名
cdh-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha
把cdh的parcel和sha文件上传到server机 的 /opt/cloudera/parcel-repo/目录
cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
cdh-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha
选择cloudera manager的版本
选择要安装cdh的主机
所有正常启动agent的机器都会显示在这个页面
选择要安装的parcels
安装parcel
选择要安装的服务
如下图所示，有多种服务组合供选择（服务是随时可以根据需求增删的），我这里根据项目需求选择自定义服务。
集群设置
一般按默认设置就可以了，也可以根据自己的需求定制。
点击继续安装，在安装的过程中可能会有一些服务的配置需要设置，一般按默认配置就可以了。
完成安装
至此，cloudear manger/cdh的安装已经完成，你可以在cloudear manger管理界面上对集群进行更细化的定制。
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的，请 点击进行留言回复，万千网友为您解惑！
网友评论