步骤一:在离线开发页面,新建任务

    右键文件夹点击新建任务

    数据开发 - 图1

    填写任务名称,此处不涉及资源组和参数组引用因此不配置。

    数据开发 - 图2

    步骤二:拖入右侧SQL节点

    数据开发 - 图3

    对节点进行重命名,并将SQL节点和虚拟节点进行连接。

    数据开发 - 图4

    步骤三:编写SQL代码

    双击SQL节点,输入如下代码:

    INSERT OVERWRITE TABLE training1.dwd_trade_user_order
    PARTITION (ds='${azkaban.flow.1.days.ago}')
    SELECT t1.user_id AS user_id -- string
      , t1.phone_no AS phone_no -- string
      , t1.gndr AS gndr -- string
      , t1.edu AS edu -- string
      , t1.email_add AS email_add -- string
      , t2.order_id AS order_id -- string
      , t2.pay_time AS pay_time -- string
      , t2.payment AS payment -- string
    FROM (
      SELECT user_id -- string
        , phone_no -- string
        , gndr -- string
        , edu -- string
        , email_add -- string
      FROM training1.ods_trade_usertable
    ) t1
    LEFT OUTER JOIN (
      SELECT order_id -- string
        , pay_time -- string
        , payment -- string
        , ds -- string
        , user_id -- string
      FROM training1.ods_trade_ordertable
    ) t2
    ON t1.user_id=t2.user_id
    ;

    输入完成后,点击临时保存

    步骤四:对节点进行试运行并查看运行结果

    数据开发 - 图5

    运行参数用默认配置即可。

    数据开发 - 图6

    运行成功后即可提交上线。

    步骤五:配置调度

    选中需要配置的节点,点击设置并提交按钮进入编辑调度页面。

    调度设置如下:

    数据开发 - 图7

    步骤六:配置依赖

    首先,点击智能推荐按钮。

    数据开发 - 图8

    任务依赖的智能推荐页面,选择需要依赖的任务或节点,点击下一步。

    数据开发 - 图9

    说明:如果此时无法自动添加依赖关系,可能的原因是当前需要依赖的节点并未线上调度过,此时可手动添加。

    将依赖添加后如下:

    数据开发 - 图10

    步骤七:完成配置

    其它配置项可使用默认配置,点击确定并提交调度。

    之后所有的任务可在任务运维处进行管理。