1.在已经安装好系统的linux服务器上关闭selinux和iptables
2.在所有linux服务器上配置ntp服务并设置ntp时间同步
3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本
(1).下载java包到/usr/local目录解压
(2).添加java环境到/root/.bash_profile目录下
export java_home=/usr/local/jdk1.8.0_211 export jre_home=$java_home/jre export classpath=.:$java_home/lib:$jre_home/lib export path=$path:$java_home/bin
4.为所有服务器配置host主机名并配置hosts（**配置所有主机的hosts；配置cm主机免密码登录所有服务器**）
**注意主机名不要出现”_”不然在cm为主机安装cdh后开启cloudera-manager-agent时会有问题**
**注意主机名不要出现用如:(test.node01;test.node02;test.cm)这样”.”分割的第一段都相同；这样的host在是不法配置ha，因为cm配置ha自动认别主机就是以”.”为分割取第一段**
5.在cm服务器上安装数据库，这里作者选择安装的是mysql5.7(可以选择安装oraclea或postgresql)
(1).安装好mysql5.7
(2).初始化mysql5.7
[root@centos7 bin]# ./mysqld --initialize --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 2019-02-21t09:09:32.773141z 0 [warning] timestamp with implicit default value is deprecated. please use --explicit_defaults_for_timestamp server option (see documentation for more details). 2019-02-21t09:09:34.064508z 0 [warning] innodb: new log files created, lsn=45790 2019-02-21t09:09:34.252282z 0 [warning] innodb: creating foreign key constraint system tables. 2019-02-21t09:09:34.320052z 0 [warning] no existing uuid has been found, so we assume that this is the first time that this server has been started. generating a new uuid: 67cc2fdb-35b8-11e9-a738-000c29186a7c. 2019-02-21t09:09:34.321735z 0 [warning] gtid table is not ready to be used. table 'mysql.gtid_executed' cannot be opened. 2019-02-21t09:09:34.330050z 1 [note] a temporary password is generated for root@localhost: >ahmp/_v3(aq
**注意>ahmp/_v3(aq为初始化第一次登录的临时密码**
(3).启动mysql5.7；登录后修改root密码
mysql> alter user 'root'@'localhost' identified by 'xxx' password expire never account unlock; #原本密码有效期为360天需要取消这个限制。 mysql> flush privileges;
**注意添加root用户时加上with grant option给予赋权的权限**
6.所有服务器安装必要的包
yum -y install psmisc mysql-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel
7.下载安装cloudera-manager5.16.2
下载地址：
(1).选择要下载的版本下载
(2).下载包放至/opt目录解压 tar –xzvf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz
(3).创建mysql库
create database hive default charset utf8 collate utf8_general_ci; create database amon default charset utf8 collate utf8_general_ci; create database hue default charset utf8 collate utf8_general_ci; create database monitor default charset utf8 collate utf8_general_ci; create database oozie default charset utf8 collate utf8_general_ci;
1.create database scm default character set utf8 default collate utf8_general_ci;
(4).创建clouder-manager的mysql账号
grant all on scm.* to scm@"%" identified by "bigdata@123";
(5).复制mysql jar包到环境
cp mysql-connector-java-5.1.30-bin.jar /usr/share/java/mysql-connector-java.jar cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.16.2/share/cmf/lib/
(6).下载cdh5.16.5 centos7版本
下载地址：
下载三个包到/opt/cloudera/parcel-repo目录下改名cdh-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1为cdh-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha
(7).初始化cm库
/opt/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -p31000 -p123456 -scm-host localhost scm(库) scm(用户名) bigdata@123(密码)
(8).所有节点创建系统用户
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server --shell=/bin/false --comment "cloudera scm user" cloudera-scm
(9).修改cm配置文件
sed -i "s/server_host=localhost/server_host=mcserver/" /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini
(10).cm服务器上chown –r cloudera-scm:cloudera-scm /opt/**;同步/opt/cmd-5.16.2到所有服务器上;
(11).在cm服务器上开启cm和agent服务
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start /opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start
(12).在其它服务器上开启agent服务
8.登录cm平台
(1).在cm服务器netstat –tpln看到7180端口已经监听起来用户名admin密码admin登录
(2).选择要作为集群的主机，第一确认/opt/cm-5.16.2/etc/clouder-scm-agent/config.ini已经配置为master,第二确认cloudera-scm-agent是否正常启动
（3）选择要安装的cdh版本
(4).安装完成会显示100%如果主机的域名是含有”_”的在安装完后会报clouser-manager-agent连接失败检查9000,9001端口是否被占用的错:
(5)待安装完成后，会自动运行主机正确性检查，检查完后的结果如下图所示。如果出现图中所示的警告，按照上面的提示，运行提示中的命令，进行修改即可
(6).下一步是根据自己的需要，安装所需的集群服务
这里作者安装的服务
(7).接着根据你上一步选择的服务，会进行相应的角色分配，系统会自动分配一些角色，如果你有其他的需求，自行更改即可
(8).然后是进行数据库的配置，如果你也是同作者一样安装的全部服务，千万不要忘了创建hive、oozie、hue这三个数据库
(9)接着是自动运行所有服务，这里需要等待10-15分钟的时间
(10)最后当上面的所有命令运行完成后，会进入如下的主页面
9升级spark1.6到spark2.4.0
(1).cm5.16.2默认安装的spark是1.6.4；如果要升级spark2是不用删除spark1.6可以同时安装两个spark(spark1和spark2)**注意spark2.2和saprk2.3是不可以存在两个的**
(2)下载spark2.4.0如下图三个包到/opt/cloudera/parcel-repo;改名为spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha;**注意原来cdh5.16.2的manifest.json文件要改名为manifest_cdh5.16.2.json；因为mainifest.json文件不可以有重名**
下载地址:
(3)下载csd文件到所有服务器/opt/cloudera/csd目录下
下载地址:
(4)分配并激活parcel
以上已经激活，第一次进来，如果没有spark2先检查新parcel会有spark2;再点分配，分配完成就激活；如果分配激活时有问题，报错，/opt/cmd-5.16.2/etc/init.d/cloudera-scm-agent restart重启agent再试
(5)命令重启cm，在cm服务器上/opt/cmd-5.16.2/etc/init.d/cloudera-scm-server restart重启后就可以添加spark2服务；
(5)安装完成后在服务器上运行spark2-shell --master local[2];可以正常动行表示升级spark2完成
如对本文有疑问， 点击进行留言回复！！
去 HBase，Kylin on Parquet 性能表现如何？
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
如何在 HBase Shell 命令行正常查看十六进制编码的中文？哈哈~
我要评论
网友评论