任务开发

步骤一:从左侧导航栏选择【开发运维】-【离线开发】进入离线开发页面。

1.png

步骤二:选择已创建的cookbook文件夹,右键选择“新建文件夹”。

2.png

步骤三:输入文件夹名称ads,点击“确定”完成配置。

3.png

步骤四:选择已创建的ads文件夹,右键选择“新建任务”。

4.png

步骤五:在弹出的对话框中填写任务名称ads_product_brand_cusanalysis_df,其它配置可选择默认。

5.png

步骤六:将SQL节点拖入到画布中,命名为ads_product_brand_cusanalysis_df_1,将SQL节点和虚拟节点进行连接。

6.png

步骤七:双击SQL节点,在SQL编辑器中,复制粘贴如下代码。

INSERT
  OVERWRITE TABLE 库名.ads_product_brand_cusanalysis_df partition (dt = '${azkaban.flow.1.days.ago}')
SELECT
  brand,
  SUM(item_qty) as item_qty,
  SUM(item_amt) as order_amt
FROM
  库名.dws_trade_order_cus_1d
where
  dt = '${azkaban.flow.1.days.ago}'
GROUP BY
  brand;

步骤八:全选任务,点击“设置并运行”进行测试。

8.png

步骤九:在弹出的对话框中,使用默认配置点击“运行”即可。

9.png

步骤十:运行成功后,任务显示测试通过标记,此时可全选任务进行提交上线操作。

10.png

步骤十一:在弹出的对话框中输入备注信息,并点击“提交上线”按钮完成提交。

11.png

步骤十二:按照步骤一到十三完成任务ads_customer_cusanalysis_df的开发,复制粘贴如下代码。

INSERT
  OVERWRITE TABLE 库名.ads_customer_cusanalysis_df partition (dt = '${azkaban.flow.1.days.ago}')
SELECT
  age_group,
  COUNT(DISTINCT cus_id) AS cus_count,
  SUM(item_qty) AS total_qty,
  SUM(item_amt) AS amount
FROM
  (
    SELECT
      cus_id,
      cus_name,
      age,
      item_qty,
      item_amt,
      CASE
        WHEN age <= 18 THEN '18岁以下'
        WHEN age <= 25 THEN '19~25岁'
        WHEN age <= 35 THEN '26~35岁'
        WHEN age <= 45 THEN '36~45岁'
        ELSE '45岁以上'
      END AS age_group
    FROM
      库名.dws_trade_order_cus_1d
    where dt = '${azkaban.flow.1.days.ago}'
  ) t
GROUP BY
  age_group;

调度配置

步骤一:提交上线后的任务可在【线上模式】进行操作,点击编辑调度按钮进行调度编辑。

21.png

步骤二:选择“全部开启”,点击“设置并提交调度”。

22.png

步骤三:在【编辑调度】的页面,需要进行调度、跨流依赖以及执行设置,此处主要介绍跨流依赖跨流设置方法,点击“智能推荐”按钮。

23.png

步骤四:在【任务依赖的智能推荐】的页面查看节点输出表和输入表,勾选后点击“下一步”。

24.png

步骤五:检查依赖关系,确认无误后,点击“完成”按钮完成配置。

25.png

步骤六:点击“确定”按钮,完成调度编辑。

26.png

步骤七:在弹出的对话框中,点击“提交按钮”完成配置。

步骤八:按照步骤一到七完成任务ads_customer_cusanalysis_df的调度配置。