多平台任务发布

1 适用场景

有部分外部客户存在部署两个有数数据开发及管理平台的情况,客户将其中一个平台作为数据开发的测试环境,另一个平台作为数据开发的线上环境。当测试环境的任务开发完成后,需要将任务发布到线上环境的平台。

上述这个场景,如果客户两个平台的网络是同的,即可使用该“多平台任务发布”功能。

2 使用方法

2.1 配置准备

首先,需要确定哪个平台作为测试环境,哪个平台作为线上环境。然后在平台上由运维人员分别开启“平台间任务发布”开关和“平台间任务接收”开关。

确定后,在作为测试环境的平台中,需要配置如下信息:

1)当前平台的发送方项目-集群;

2)接收方平台URL;

3)接收方项目-集群;

4)在对应项目的项目中心功能权限中,配置开启“项目集群间任务发布”(平台开启“平台间任务发布”开关才会显示),并授权给相关角色和成员。

完成如上配置后,在对应项目的离线开发中,具体任务的线上模式下,有“项目集群间任务发布”权限的用户,就会看到“任务发布”和“发布记录”按钮,可进行任务发布操作。

如下图,为项目中心-功能权限的配置页面:

多平台任务发布 - 图1 2021-07-26-11-41-19.png

如下图,为线上模式下,暴露出“任务发布”和“发布记录”按钮:

多平台任务发布 - 图3 2021-07-26-11-14-23.png

在作为线上环境的平台中,需要配置如下信息:

1)当前平台的接收方项目-集群;

2)发送方平台URL;

3)发送方项目-集群;

4)在对应项目的项目中心功能权限中,配置开启“项目集群间任务发布工单审批”(平台开启“平台间任务接收”开关才会显示),并授权给相关角色和成员。

如下图,为项目中心-功能权限的配置页面:

多平台任务发布 - 图5 2021-07-26-11-42-38.png

完成上述配置后,即完成了两个平台的配对。

2.2 任务发布使用

对于测试平台上的任务,点击“任务发布”,则会出现“项目间任务发布”弹框。在弹框中,会显示接收方数据开发平台和当前待发布任务的相关信息。

发布者可以选择要发布的内容,包括任务包、调度配置,默认都选中。输入完备注信息后,即可点击“创建工单”。对应的,会在接收方数据开发平台的流程协作与通知中心创建任务发布工单。

如下图,为“项目间任务发布”弹框:

多平台任务发布 - 图7 2021-07-26-11-15-00.png

在接收方数据开发平台,有审批权限的人会接收工单审批的邮件等通知。如下图,为在接收方数据开发平台的流程协作与通知中心生成的对应的工单类型为“任务发布”的工单:

多平台任务发布 - 图9 2021-07-26-11-17-21.png

工单审批通过后,则接收方数据开发平台的离线开发中,任务会被创建,并提交上线。如下图,为实例的任务被创建并提交上线。

多平台任务发布 - 图11 2021-07-26-11-19-17.png

2.3 任务发布的限制说明

目前任务发布仅支持部分内容的发布。

目前支持的内容为:任务内的节点、资源、任务的调度信息、节点的质量监控引用。

目前不能发布的内容为:引用资源组的实际内容、引用参数组的实际内容、节点引用质量监控的具体配置、数据同步节点引用的离线同步任务的实际内容、任务内相关表的DDL变更历史。