Greenplum扩容-gpexpand介绍
gpexpand是在阵列中的新主机上扩展现有的Greenplum数据库的一个工具,使用方法如下:
gpexpand [{-f|--hosts-file} hosts_file]
| {-i|--input} input_file [-B batch_size] [-V|--novacuum]
| {{-d | --duration} hh:mm:ss | {-e|--end} 'YYYY-MM-DD hh:mm:ss'}
[-a|-analyze]
[-n parallel_processes]
| {-r|--rollback}
| {-c|--clean}
[-D database_name] [-v|--verbose] [-s|--silent]
[{-t|--tardir} directory ]
[-S|--simple-progress ]
gpexpand -? | -h | --help
gpexpand --version
详情:
-a | --analyze
在扩展后运行ANALYZE更新表的统计信息,默认是不运行ANALYZE。
-B batch_size
在暂停一秒钟之前发送给给定主机的远程命令的批量大小。默认值是16,有效值是1-128。
gpexpand工具会发出许多设置命令,这些命令可能会超出主机的已验证连接的最大阈值(由SSH守护进程配置中的MaxStartups定义)。该一秒钟的暂停允许在gpexpand发出更多命令之前完成认证。
默认值通常不需要改变。但是,如果gpexpand由于连接错误(例如'ssh_exchange_identification: Connection closed by remote host.')而失败,则可能需要减少命令的最大数量。
-c | --clean
删除扩展方案。
-d | --duration hh:mm:ss
扩展会话的持续时间从头到尾。
-D database_name
指定要在其中创建扩展方案和表的数据库。如果没有给出这个选项,则使用环境变量PGDATABASE的设置。数据库模板template1和template0不能使用。
-e | --end 'YYYY-MM-DD hh:mm:ss'
扩展会话的结束日期和时间。
-f | --hosts-file filename
指定包含用于系统扩展的新主机列表的文件的名称。文件的每一行都必须包含一个主机名。
该文件可以包含指定或不指定网络接口的主机名。gpexpand工具处理这两种情况,如果原始节点配置了多个网络接口,则将接口号添加到主机名的末尾。
注意: Greenplum数据库Segment主机的命名习惯是sdwN,其中sdw是前缀并且N是数字。例如,sdw1、sdw2 等等。对于具有多个接口的主机,约定是在主机名后面添加破折号( - )和数字。例如sdw1-1和sdw1-2是主机 sdw1的两个接口名称。
-i | --input input_file
指定扩展配置文件的名称,其中为每个要添加的Segment包含一行,格式为:
hostname:address:port:fselocation:dbid:content:preferred_role:replication_port
如果用户的系统具有文件空间,gpexpand会预期文件空间配置文件(input_file_name.fs)与扩展配置文件位于同一目录中。文件空间配置文件格式为:
filespaceOrder=filespace1_name:filespace2_name: ...
dbid:/path/for/filespace1:/path/for/filespace2: ...
dbid:/path/for/filespace1:/path/for/filespace2: ...
-n parallel_processes
要同时重新分布的表的数量。有效值是1 - 96。
每个表重新分布过程都需要两个数据库连接:一个用于更改表,另一个用于在扩展方案中更新表的状态。在增加-n之前,检查服务器配置参数max_connections的当前值,并确保不超过最大连接限制。
-r | --rollback
回滚失败的扩展设置操作。如果回滚命令失败,请使用-D选项指定包含要回滚的操作的扩展方案的数据库,并再次尝试。
-s | --silent
以静默模式运行。在警告时,不提示确认就可继续。
-S | --simple-progress
如果指定,gpexpand工具仅在Greenplum数据库表gpexpand.expansion_progress中记录最少的进度信息。该工具不在表gpexpand.status_detail中记录关系大小信息和状态信息。
指定此选项可通过减少写入gpexpand表的进度信息量来提高性能。
[-t | --tardir] directory
Segment主机上一个目录的完全限定路径,gpexpand工具会在其中拷贝一个临时的tar文件。该文件包含用于创建Segment实例的Greenplum数据库文件。默认目录是用户主目录。
-v | --verbose
详细调试输出。使用此选项,该工具将输出用于扩展数据库的所有DDL和DML。
--version
显示工具的版本号并退出。
-V | --novacuum
在创建模式拷贝之前不清理目录表。
-? | -h | --help
显示在线帮助。
扩容介绍
扩容可以分为纵向扩容和横向扩容,扩容的先决条件如下:
- 用户作为Greenplum数据库超级用户(gpadmin)登录。
- 新的Segment主机已被根据现有的Segment主机安装和配置。这包括:
- 配置硬件和操作系统
- 安装Greenplum软件
- 创建gpadmin用户帐户
- 交换SSH密钥
- 用户的Segment主机上有足够的磁盘空间来临时保存最大表的副本。
- 重新分布数据时,Greenplum数据库必须以生产模式运行。Greenplum数据库不能是受限模式或 Master模式。不能指定gpstart的选项-R或者-m 启动Greenplum数据库
扩容的基本步骤:
- 创建扩容输入文件:
gpexpand -f hosts_file
- 初始化Segment并且创建扩容schema:
gpexpand -i input_file
,gpexpand会创建一个数据目录、从现有的数据库复制表到新的Segment上并且为扩容方案中的每个表捕捉元数据用于状态跟踪。 在这个处理完成后,扩容操作会被提交并且不可撤回。 - 重新分布表数据:
gpexpand -d duration
- 移除扩容schema:
gpexpand -c
横向扩容
纵向扩容
参考:http://docs-cn.greenplum.org/v5/utility_guide/admin_utilities/gpexpand.html