资源说明

本次实践,计划发布离线开发任务、Hive表、离线同步任务、质量监控任务等4种类型的资源:

资源名称 资源类型 备注
flow_mysql2hive_ods_easysubmit_user_info 离线开发任务 包含一个离线同步节点,节点中引用了一个离线传输的离线同步任务。
mysql2hive_ods_easysubmit_user_info 离线同步任务 用于将mysql的数据同步到hive表,产出表为mammut_one.ods_easysubmit_user_info。
mammut_one.ods_easysubmit_user_info Hive表 用于离线同步任务的数据写入。
dim_easysubmit_user_info 离线开发任务 用于读取 mammut_one.ods_easysubmit_user_info写入到 mammut_one.dim_easysubmit_user_info,完成维表加工。
mammut_one.dim_easysubmit_user_info Hive表 离线开发任务dim_easysubmit_user_info的输出表。
dqc_mammut_one-dim_easysubmit_user_info 质量监控任务 mammut_one.dim_easysubmit_user_info的质量监控任务。

针对“同集群跨项目”发布场景,离线开发任务的SQL,在使用时,需要采用参数指定DB的方式,在发布时,会替换参数所属的参数组。

比如,上述资源的离线开发任务“dim_easysubmit_user_info”,其中SQL节点的代码为:

insert overwrite table ${db1}.dim_easysubmit_user_info
select user_id, user_name
from ${db1}.ods_easysubmit_user_info;

该任务引用的参数组配置为:

资源打包 - 图1

表示执行时运行如下代码:

insert overwrite table mammut_one.dim_easysubmit_user_info
select user_id, user_name
from mammut_one.ods_easysubmit_user_info;

读者实践时,可选择自己环境的一些已提交上线的任务,或者新建仅包含虚拟节点的任务,并提交上线,选择这种任务来先大致了解发布的流程。待后续再尝试发布有复杂关联关系的资源。

资源打包

入口:在发布方的发布中心-资源列表。

选择前面提到的2个离线开发任务,添加到发布池中。

资源打包 - 图2

点击“一键智能添加”,系统会自动把关联的引用资源添加到发布池。

资源打包 - 图3

点击创建发布包,在创建弹框中“创建成功后策略”选择“前往发布”,则创建成功后会自动跳转到发布包发布页面;如果选择“前往详情”,则会前往发布包详情页面,可以进行下载发布包操作。

如果是“同集群跨项目”发布,则请选择“前往发布”;如果是“离线跨平台”发布,请选择“前往详情”。

资源打包 - 图4

创建成功后,会在“发布包-在线发布”菜单中产生一个发布包。