背景

某些客户可能存在使用多个mpp的情况,那么服务配置文件怎么配置?

具体配置

DE配置

有数LTS-8.18、LTS-8.23版本支持同时配置一个Greenplum、多个ClickHouse。

不支持配置多个GP

CK配置,可以是CK单机,也可以是CK集群。

CLICKHOUSE:主CK配置连接信息

ADDITIONAL_CLICKHOUSE:额外CK配置连接信息

MPP:GP配置连接信息

比如用户同时支持GP和CK,那么将CK相关配置完全后,再配置"MPP"相关信息,即全量处理所有信息。

注意:ADDITIONAL_CLICKHOUSE配置的额外CK连接信息,其应用的CLICKHOUSE_CLUSTER、SINGLE_REPLICATE_CLUSTER、SINGLE_SHARD_CLUSTER等配置直接同主CLICKHOUSE。即有数多个CK的集群信息配置必须相同。

MPP建库

注意:有数项目id就是需要建库的id,下面示例以1为例。

单机CK

CREATE DATABASE IF NOT EXISTS `1`

CK集群

CREATE DATABASE IF NOT EXISTS `1` ON CLUSTER cluster2

对应的cluster为环境变量CK_DEFAULT_CLUSTER,一般情况下都是cluster2

GP集群

CREATE SCHEMA "1" AUTHORIZATION <da_user>

da_user 就是MPP环境变量里面配置格式的值。

postgresql://daUser:daPort|deUser:dePort|superUser:superPort@somehost:password/somedatabase

平台变更

环境变量配置(配置到web inner-web下)

如果license的MPP是GP,需要额外使用CK集群,则可以配置环境变量:CK_CLUSTER_PROJECT_LIST;

如果需要额外使用CK单机,则可以配置环境变量:CK_PROJECT_LIST。

如果LICENSE的MPP是CK,需要额外使用GP,则可以配置环境变量:GP_PROJECT_LIST

注意:以上环境变量在是逗号分隔的,比如CK_CLUSTER_PROJECT_LIST: 1,2,3,4,5,6,7(项目id)

业务库变更

针对每个项目需要变更项目内置MPP,可先行进入该项目,执行如下操作:

1.在有数界面上新建连接,找到连接id。

2.建好之后针对对应的连接 id:selectselect

更改type:ck单机改成103,ck集群改成105,gp改成100

更改avaliable:改成0

举例:

进入项目后,新增数据连接时url中的cid即为连接id。填写保存后,在data_connection表中能够找寻到

有数多MPP配置 - 图1

后续执行以下sql语句(注意type和id的值),变更之后确认下是否成功。

update youdata.data_connection set type = 105, available = 0 where id = 11

之后执行抽取,在DE日志中查看输入信息,确认MPP输入信息是否正确。