在数据表页面中支持表的批量导出与导入功能。

批量导入

批量导入包括四种模板,满足不同场景下的导入需求。
批量导入、导出表 - 图1

模板1

该模板支持ODS层模型设计和传输任务自动生成。导入时该模板可填写源库信息、ODS表结构信息、数据传输任务信息,导入后系统支持自动创建ODS表、数据传输任务,通过该功能可以简化数据开发人员重复建表和建传输任务的工作,达到提效降本的目的。

批量导入、导出表 - 图2

操作流程 批量导入、导出表 - 图3

操作步骤 第一步:点击“导入”,选择ODS模板并下载模板文件 批量导入、导出表 - 图4

第二步:Excel中填写ODS表和数据传输任务信息 批量导入、导出表 - 图5

第三步:上传Excel,并成功解析文件 批量导入、导出表 - 图6

第四步:获取解析的ODS表列表,点击批量建表 批量导入、导出表 - 图7

第五步:ODS建表完成后,批量自动创建数据传输任务 批量导入、导出表 - 图8

第六步:进入数据传输模块,查看任务列表和任务详情 到此AutoETL 中ODS表创建和传输任务自动创建创建的流程就结束了。 批量导入、导出表 - 图9

模板2

该模板支持DWD、DWS、DIM、ADS层模型设计和离线加工任务自动生成。导入时该模板可填写DWD、DWS、DIM、ADS表结构信息、离线加工任务信息,导入后系统支持自动创建DWD、DWS、DIM、ADS表、离线加工任务和节点,通过该功能可以简化数据开发人员重复建表和建离线加工任务的工作,达到提效降本的目的。 批量导入、导出表 - 图10

操作流程 批量导入、导出表 - 图11

操作步骤 第一步:选择模板文件并下载 批量导入、导出表 - 图12

第二步:Excel中填写DWD表和离线加工任务信息 批量导入、导出表 - 图13

第三步:上传Excel,并成功解析文件 批量导入、导出表 - 图14

第四步:获取解析的DWD表列表,点击批量建表 批量导入、导出表 - 图15

第五步:DWD建表完成后,批量自动创建离线加工任务 批量导入、导出表 - 图16

第六步:进入离线开发模块,查看任务列表和任务详情 批量导入、导出表 - 图17

模板3

模板3支持根据表的实际情况创建表工单及修改表工单,需要注意的是该功能可配合批量导出一起使用用于模型迁移。其导入的操作步骤同模板1,通过这种方式进行导入,如果导入的字段引用了指标、维度、数据元等内容,需要事先完成创建。

如下图所示,导入表的某一字段关联的指标不存在,进行待创建工单预览时给出指标不存在提示:
批量导入、导出表 - 图18

如果导入的表未发生变化,则会出现在无法修改的表页签中,可点击删除按钮,将重复的表从模板中进行删除。
批量导入、导出表 - 图19

模板4

模板1不同分层的表存放在不同的表格中,需要通过下载xls模板,并根据要求填写模板内容,然后上传附件,系统则会自动解析其中内容。解析到的每个库表都会生成一条记录,用户可以预览这些记录的详情,系统会自动扫描其相关信息。如果没有异常,用户可以选择提交工单。工单提交后,会和原来的直接创建工单的方式一样,生成一个工单记录。之后,用户可以将任务提交上线,进而开始工单的审批流转。

  • 首先,点击下载模板按钮下载配置模板,模板会根据当前的数仓配置生成相应的填写内容。
    批量导入、导出表 - 图20

  • 然后,在模板中填写要创建的表的信息,填写后通过上传文件按钮进行上传,解析成功后点击下一步。
    批量导入、导出表 - 图21

  • 确认数据源映射关系,如无问题则点击下一步。
    批量导入、导出表 - 图22

  • 在解析结果页面,支持通过预览操作进行导入表的前置检测,反馈异常内容。
    批量导入、导出表 - 图23

  • 如果当前的工单存在异常,通过点击编辑按钮进行编辑。
    批量导入、导出表 - 图24

  • 编辑完成后,提交工单,此时工单处于已创建状态,导入完成。
    批量导入、导出表 - 图25

  • 待我审批页面,完成审批,表创建完成。
    批量导入、导出表 - 图26

批量导出

批量导出支持模型以及模型的库表信息、主体归属、关联维度、维度属性、表分层、数据源类型、数据源等相关信息的导出。批量导出功能可以用来配合批量导入功能完成模型的迁移,当前仅支持Hive。

批量导出支持按列表选中数据导出按全量数据导出两种方式。勾选想要导出的表,选择按列表选中数据导出即可。
批量导入、导出表 - 图27

导出结果列表:
批量导入、导出表 - 图28

导出结果表详情页:
批量导入、导出表 - 图29