GP&CDH安装部署系列-CDH安装

/ 0评 / 0

GP&CDH安装部署系列-CDH5.16.1安装

安装文件

文件都放到/home/tools/

centos7为最小化安装,再安装 CDH前必须先安装如下程序包:(会有报错~每台都要执行)

 

安装jdk(每台都需安装)

master主服务器执行文件传输到sdw

[root@mdw96 tools]# scp -r jdk-8u131-linux-x64.rpm root@10.227.17.97:/home/tools/

.....(省略)

查找安装过的java包

rpm -qa | grep java

如果查出来有 运行 rpm -e --nodeps 查出来的包名(将已安装java全部卸载)

安装java rpm包(每台机器执行)

rpm -ivh jdk-8u131-linux-x64.rpm

验证是否安装成功

java -version

or

which java

离线安装mysql5_6_31(只在mdw上安装)

 

解压mysql tar包

[root@mdw96 data]# cd tools/

[root@mdw96 data]# tar -xf MySQL-5.6.31-1.linux_glibc2.5.x86_64.rpm-bundle.tar

[root@mdw96 tools]# ls

查找已经安装的卸载

rpm -qa | grep mysql

rpm -qa | grep mariadb

如果查出来有 运行 rpm -e --nodeps 查出来的包名(将已安装mysql全部卸载)

安装mysql rpm包

rpm -ivh MySQL-server-5.6.31-1.linux_glibc2.5.x86_64.rpm

启动mysql服务

service mysql start

安装mysql 客户端

rpm -ivh MySQL-client-5.6.31-1.linux_glibc2.5.x86_64.rpm

rpm -ivh MySQL-devel-5.6.31-1.linux_glibc2.5.x86_64.rpm

rpm -ivh MySQL-embedded-5.6.31-1.linux_glibc2.5.x86_64.rpm

rpm -ivh MySQL-shared-5.6.31-1.linux_glibc2.5.x86_64.rpm

rpm -ivh MySQL-shared-compat-5.6.31-1.linux_glibc2.5.x86_64.rpm

rpm -ivh MySQL-test-5.6.31-1.linux_glibc2.5.x86_64.rpm

安装完成,记住原始密码..

cat /root/.mysql_secret

登录mysql 修改密码并授权

mysql -u root -p mysql

Enter password: Cpb43u6T_D2qmg9M

设置mysql权限:

测试是否修改成功

安装CDH(只在mdw上安装)

修改config.ini的server_host值

注意修改:server_host为实际主机名

image-20200608234422115

当CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha的后缀是.sha1,需要改成.sha,不然到时候安装CDH还是会去下载文件...这是一个坑

在每台机器执行

如是重装的CDH,需要到Mysql把cm数据库删除,第一次安装则忽略。

在master上执行

复制master机器的 /opt/cm-5.16.1 到sdw机器

开启服务前需要进行如下修改(每台机器上执行)

将 swappness修改为0,尽量不使用交换分区:

开启/停止服务:

1. master上开启服务

2. segment上开启服务

同理关闭start-->stop

ps拓展:

web页面配置

如下图:

master ip:7180/cmf

默认用户名密码:admin/admin

下面图片可能有点混乱因为几个省的服务器图片截图...噗

打开页面效果图

image-20200608235546681

集群机器效果图

image-20200608235701183

集群开始安装

image-20200608235719643

集群安装中

image-20200608235819492

image-20200608235833493

parcel安装完成后反馈

image-20200608235900122

选择自定义安装服务!!!!!

新的版本没有mapreduce 注意不要选择hive

image-20200608235941595

旧版:

image-20200609000006139

基本默认—>zookeeper修改为节点服务器,至少再添加2台机器

新:

image-20200609000036880

新:

image-20200609000100297

旧:

image-20200609000107248

集群设置安装

image-20200609000230972

image-20200609000236010

image-20200609000240213

image-20200609000243863

image-20200609000248159

image-20200609000254430

基本保持默—>但是zookeepr修改个大点的文件夹,如:/data/zookeepr

集群初始化

image-20200609000326024

image-20200609000333156

image-20200609000340048

ps:

屏蔽时钟告警

安装完成后,主页面会有红色告警,主要为时钟告警,可需通过web页面登录:master服务器 ip:7180

在主页面上端菜单选择主机 -> 配置 -> 搜索“时钟” -> 修改告警提示为“从不”

image-20200609000432335

添加hive服务

先做一个软连接:

ln -s /opt/cm-5.16.1/share/cmf/lib/mysql-connector-java-5.1.36-bin.jar /usr/share/java/mysql-connector-java.jar

ps:

如果没有/usr/share/java文件夹,需要mkdir /usr/share/java

连接mysql数据库执行

装hive

image-20200609000701009

image-20200609000708323

image-20200609000716188

image-20200609000724766

image-20200609000732728

image-20200609000736427

image-20200609000741513

基本默认安装 路径选一个大点的盘(文件夹)

安装成功后连接mysql数据库

修改hive数据库配置:

修改mysql配置

[root@mdw96 java]# vi /usr/my.cnf

保存文件 重启mysql

systemctl restart mysql

最后一步:

切换到GP主服务器—mdw96:

# 切换到gpadmin用户

su gpadmin

#执行:(标黄请注意,如第一个标黄表示CDH是5.X的cdh5,6.X则是cdh6,同理第二个标黄也是版本号)

gpconfig -c gp_hadoop_target_version -v "cdh5"

gpconfig -c gp_hadoop_home -v "'/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3 /lib/hadoop/client'"

最最最后就是性能测试

遇到问题:

1.HDFS dfs.permissions 去掉对勾,不然需要验证权限才能进行插入...

image-20200609001249552

2.如果是旧机器需要看看是否已经安装了cloudera和CDH

https://blog.csdn.net/wulantian/article/details/42706777/ 这是CDH5的卸载步骤

3.ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthor.

安装cloudera-manager-agent报错

查看/var/log/cloudera-scm-agent.log

解决办法

4.Cloudera Manager集群报警,堆转储目录/tmp 或日志目录/var/log 可用空间小于 5.0 吉字节

在Cloudera Manager上收到报警信息如下:

img

解决办法

1.检查目标主机的磁盘使用情况

登陆到目标主机后,切换路径到根目录,运行 df -h

得知是日志盘文件盘过小,更改选择比较大一些的文件挂载

修改集群中hive、yarn、spark的配置,搜索包含/var、/tmp或/yarn的配置项,以下以Hive为例:

img

在上述路径前添加/home(因为/home所在的磁盘空间较大)

img

保存配置重启集群即可。

发表评论

电子邮件地址不会被公开。 必填项已用*标注