任务批量导出和导入

1 适用场景

该功能适用于部署了多套数据开发平台,且不同平台间网络不通的客户。主要用来完成将一个平台的离线开发任务,批量下载下来,并通过存储介质拷贝到另一个平台的离线开发中并导入。

目前仅支持将离线开发的线上任务内容(节点及内容、节点间依赖)、资源,以及其引用的任务、数据质量、离线同步任务、资源组ID等信息导出,导入时在导入端平台进行检测。

暂不支持任务调度信息,以及实际的被引用任务、数据质量任务配置、离线同步任务配置、具体的资源组等一并导出,也不支持任务所引用的表的变更、表的数据等的导出。

2 使用方法

该批量导出和导入功能需要由运维人员开启,客户侧需要确定哪个平台开启批量导出功能(一般该平台用于测试使用),哪个平台需要开发批量导入功能(一般该平台作为生产平台)。

如下图,为一个平台将批量导出和导入都开启后,在离线开发的辅助开发区,会显示“批量导出任务”和“导入批量任务包”按钮。目前仅项目负责人和管理员会暴露该入口。

任务批量导出和导入 - 图1 2021-08-17-14-34-30.png

2.1 批量导出任务

对于用于导出的平台,点击“批量导出任务”,即可出现下方弹框。在弹框中,用户按要求输入线上任务之后,可执行“生成批量任务包”操作。此时,系统会先进行任务名称匹配检验,如果未匹配到线上任务时,会给出提醒。

任务批量导出和导入 - 图3

如下图,为检测到线上不存在某个任务的提醒:

任务批量导出和导入 - 图4

如下图,为查看失败详情的弹框:

任务批量导出和导入 - 图5

如果均匹配成功,则系统会开始生成批量任务包。如果任务数量较多或任务本身占用存储空间较大,可能会需要等待较长时间。生成成功后,会提醒当前用户。用户即可执行“导出”,将任务包导出到本地存储。

任务批量导出和导入 - 图6

因为生成时间可能会比较久,目前支持3天的任务包缓存时间。用户关闭“批量导出任务包”弹框之后,3天内再次进入,也可以继续看到上一次生成结果,也可以执行“导出”操作。

任务批量导出和导入 - 图7

2.2 导入批量任务包

对于用于导入的平台,点击“导入批量任务包”,即可在弹框中选择由导出端平台转储到本地环境中“批量任务包”,并选择默认任务目录,即可执行导入操作。

任务批量导出和导入 - 图8

这里特别说明,目前导入操作不会导入目录结构,因此对于新任务需要执行一个任务目录。对于已有的任务,会进行任务覆盖操作。如果任务有重命名,也会按照任务唯一标识在导入端进行重命名。

如下图,为导入成功的截图:

任务批量导出和导入 - 图9

在执行导入前,系统会先进行检测,包括引用的数据质量监控是否存在、数据同步节点引用的离线同步任务是否存在、嵌套流或AI 2.0任务引用的任务是否存在、引用的资源组是否存在、任务名称是否合法等等。

任务批量导出和导入 - 图10

如下图,为检测未通过的一些场景:

任务批量导出和导入 - 图11

如下图,为检测未通过的一些场景:

任务批量导出和导入 - 图12

2.3 使用建议

由于目前导出和导入功能时,有部分内容未进行导出,需要使用者在根据导入端的提醒,在导入端配置相关的内容。