数据开发
更新时间: 2023-06-08 11:28:36
阅读 1928
步骤一:在离线开发页面,新建任务
右键文件夹点击新建任务。
填写任务名称,此处不涉及资源组和参数组引用因此不配置。
步骤二:拖入右侧SQL节点
对节点进行重命名,并将SQL节点和虚拟节点进行连接。
步骤三:编写SQL代码
双击SQL节点,输入如下代码:
INSERT OVERWRITE TABLE training1.dwd_trade_user_order
PARTITION (ds='${azkaban.flow.1.days.ago}')
SELECT t1.user_id AS user_id -- string
, t1.phone_no AS phone_no -- string
, t1.gndr AS gndr -- string
, t1.edu AS edu -- string
, t1.email_add AS email_add -- string
, t2.order_id AS order_id -- string
, t2.pay_time AS pay_time -- string
, t2.payment AS payment -- string
FROM (
SELECT user_id -- string
, phone_no -- string
, gndr -- string
, edu -- string
, email_add -- string
FROM training1.ods_trade_usertable
) t1
LEFT OUTER JOIN (
SELECT order_id -- string
, pay_time -- string
, payment -- string
, ds -- string
, user_id -- string
FROM training1.ods_trade_ordertable
) t2
ON t1.user_id=t2.user_id
;
输入完成后,点击临时保存。
步骤四:对节点进行试运行并查看运行结果
运行参数用默认配置即可。
运行成功后即可提交上线。
步骤五:配置调度
选中需要配置的节点,点击设置并提交按钮进入编辑调度页面。
调度设置如下:
步骤六:配置依赖
首先,点击智能推荐按钮。
在任务依赖的智能推荐页面,选择需要依赖的任务或节点,点击下一步。
说明:如果此时无法自动添加依赖关系,可能的原因是当前需要依赖的节点并未线上调度过,此时可手动添加。 |
将依赖添加后如下:
步骤七:完成配置
其它配置项可使用默认配置,点击确定并提交调度。
之后所有的任务可在任务运维处进行管理。
文档反馈
以上内容对您是否有帮助?