GP&CDH安装部署系列-GP安装

1.由于最小化安装，所有机器执行

2.所有服务器关闭防火墙

3.检查时间是否为北京时间，如已经操作第一步时间同步后，此步可省略

4.所有机器执行挂载

步骤4遇到的问题:

#当需要的挂载磁盘已经挂载了对应的目录
umount /dev/sdb /data

#当遇到提示：设备正忙，卸载即告失败(/data: device is busy)
可使用：lsof /data

#使用fuser查看目录被谁占用，然后kill掉线程(lsof /data其实也可)
或者使用：fuser /data
/data: 2454 rc
#kill掉正在使用的进程后，重新 umount /dev/sdb /data
kill -9 2454

umount /dev/sdb /data

#遇到：mount:can‘t find uuid = xxxx

这说明uuid 对应的磁盘之前是有挂载过，然后我们格式化后UUID已经变了，然后之前对应的也是/data 目录，解决办法：

输入 blkid，然后拿到/dev/sdb 新的UUID，然后把/etc/fstab 文件对应的/dev/sdb 换成UUID，把之前有关/data的全部注销掉，再重新挂载：

5.修改所有机器名称

6.修改所有机器hosts

7.多机信任(免登陆),所有机器都需要执行

区分：这里master节点和其他datanode节点会略有区别。

1.首先所有节点均执行如下命令，遇到提示一路回车即可：

ssh-keygen -t rsa

2.在主节点执行以下命令：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3.scp文件到所有datenode节点：

8.GP数据库安装部署：

8.1:修改所有机器的hosts(如果步骤6已做检查一遍)

cat /etc/hosts

8.2:安装greenplum--主节点执行（mdw132上执行）

安装软件上传至mdw132目录：/home/gp_install

8.3:配置全部服务器列表（mdw132上执行）

注意：后续vi新建脚本都默认在mdw132服务器的/home/gp_install目录下，同时执行命令也需在mdw132服务器的该目录下运行

8.4:交换密钥

如果遇到一直输密码啥的：

1.有可能我们之前的多机信任有问题。

2.ssh版本密钥不对，需要修改sshd_config(所有机器执行)：

最好改完以后,再重新生成一次秘钥,即从新多一个多机信任，先把cd /root/.ssh/ 下的文件都 rm -rf 了

8.5：服务器系统参数配置（mdw132上执行）

#配置1

#修改

vi /etc/sysctl.conf

注释原来所有内容，添加：

注意：

#gp-->kernel.shmmax的值:64G内存—shmmax ：68719476736，128G内存-- shmmax ：137438953472，即物理内存*0.9*1024*1024*1024,如我的机器全是256G的:256*1024*1024*1024*0.9 , 其实只要超过128G 都可以默认得了...

#配置2

#修改

vi /etc/security/limits.conf

在最后增加：

注意：

对于RedHat6.x/CENTOS 6.X系统，还需要将vi /etc/security/limits.d/90-nproc.conf文件中的1024修改为131072。

对于RedHat7.x/CENTOS 7.X系统，还需要将vi 录vi /etc/security/limits.d/20-nproc.conf文件中的4096修改为131072。

#配置3

#修改

vi /etc/rc.d/rc.local

在最后增加：

保存修改后执行命令：

#单独执行命令：

echo 1 > /proc/sys/vm/overcommit_memory

#配置4（Centos6.5没有该文件，略过）

vi /boot/grub/menu.lst

#配置5

vi /etc/inittab

#在最后增加：

id:3:initdefault:

#配置6

vi /etc/ssh/sshd_config

[找到MaxStartups去掉#并修改为如下参数]

MaxStartups=1000:30:5000

#配置 7

vi /etc/sysconfig/selinux

#找到SELINUX修改：

SELINUX=disabled

8.6.将mdw132(主服务器)配置覆盖其它节点服务器脚本：

#新建cp.sh文件

vi cp.sh

#添加：

#执行：

chmod +x cp.sh

./cp.sh

8.7.检查配置结果

#新建check文件

vi check

#添加：

#执行

gpssh -f hostfile_all -v < check

8.8.安装GP数据库(mdw132上执行)

#1.创建数据存储区，以下步骤root用户在mdw132执行，在所有节点上安装GP：

gpseginstall -f hostfile_all -u gpadmin -p gpadmin

#2.master存储创建：

#3.second master存储（本次没备用管理smdw服务器,请忽略此步骤）

#4.segment存储

#创建mkdir文件

vi mkdir

#添加：

注意:正常情况都是data1到data4,因为此次服务器内存小，磁盘也不大，还是虚拟机，读写性能估计也一般，所以只做data1和data2，而机器，把盘做了raid，做n组raid就有n个盘挂载，我们就可以每个挂载盘创建一个data

#执行

gpssh -f hostfile_all -v < mkdir

8.9.配置环境变量

#以下步骤gpadmin用户在mdw132执行.

切换用户：su - gpadmin

#配置gpadmin变量

#修改：

vi /home/gpadmin/.bashrc

#添加：

#读取变量

source /home/gpadmin/.bashrc

8.10.初始化GP数据库（mdw132上执行）

#以下操作gpadmin用户在mdw132上执行:

#创建目录

#配置实例对应的网卡

#创建文件:

vi hostfile_gpinitsystem

#添加节点服务器：

注意：一定要加上主服务器，不然到时候数据存不到主服务器

#配置实例对应的磁盘等

1.实例数不用太多,参考2物理cpu则8个实例即可；

2.DATA_DIRECTORY 一个目录代表一个实例,本次GP部署每台使用2块盘

vi gpinitsystem_config

#添加：

#执行初始化

[无备管理服务器smdw执行]

gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem

[有备管理smdw服务器]

//gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem -s smdw

运行结果中如出现如下信息则创建成功！

……

Greenplum Database instance successfully created

……

8.11.远程访问设置（mdw132上执行）

#以下操作gpadmin用户在mdw132上执行

cd $MASTER_DATA_DIRECTORY

vi pg_hba.conf

#添加：

8.12.配置GP数据库登录密码（mdw132上执行）

#以下步骤gpadmin用户在mdw193执行。

切换用户：su - gpadmin

登录数据库:psql -d lte_mr

>alter role gpadmin with password 'gpadmin_GP$';

输入：\q退出数据库

8.13.GP数据库参数配置（mdw132上执行）

[gp_vmem_protect_limit=内存总量/实例数1024=(2564)/8*1024 MB,

以128G内存,8实例为例，基本使用默认不修改]

#以下操作gpadmin用户在mdw上执行：

8.14.重启GP数据库（mdw132上执行）

#以下步骤gpadmin用户在mdw执行，切换用户：su - gpadmin

停数据库：gpstop -M fast

启数据库：gpstart -a

查看各节点状态：gpstate –m

8.15.性能验证（数据库安装成功后测试，mdw132上执行）

#网卡性能验证，网卡-管理口

vi hostfile_gpchecknet_eth0

#添加：

#测试：

gpcheckperf -f hostfile_gpchecknet_eth0 -r N -d /tmp > eth0.out

#查看：

cat eth0.out

#磁盘性能验证

[-S 256GB] 为内存的2倍

#测试

gpcheckperf -f hostfile_gpchecknet_eth0 -r ds -D -v -S 512GB -d /data1/gp/p >disk.out

#查看：

cat disk.out