相关表说明

这里以一张银行流水记录表为例,进行AI推荐规则演示。表的ddl语句如下:

创建表
/*若在自助分析新建表,请注意修改表名*/
CREATE TABLE IF NOT EXISTS mammut.dws_d_dqc_suggesion_demo (
   id BIGINT COMMENT '主键',
   user_id STRING COMMENT '用户ID',
   item_id STRING COMMENT '商品ID',
   shop_id STRING COMMENT '店铺ID',
   name STRING COMMENT '用户姓名',
   family_name STRING COMMENT '姓氏',
   birth STRING COMMENT '生日,格式 yyyy-mm-dd',
   birth_time TIMESTAMP COMMENT '日期类型的生日',
   order_url STRING COMMENT '下单地址,是一个web页面地址',
   create_time TIMESTAMP COMMENT '日期类型的下单时间',
   order_time STRING COMMENT '下单时间,业务上order_time、user_id应该是一个唯一值,即一个用户在同一个时刻只能发生一次购买行为',
   user_ip STRING COMMENT '下单客户端ip',
   user_mac STRING COMMENT '下单客户端mac地址',
   user_agent STRING COMMENT '下单时的客户端标识',
   email STRING COMMENT '用户账号的邮箱',
   phone_number STRING COMMENT '用户的联系方式',
   price STRING COMMENT '总价',
   amount STRING COMMENT '购买数量',
   unit_price DECIMAL COMMENT '单价',
   client_token STRING COMMENT '下单时生成的全链路唯一标识,避免失败重试的重复下单',
   `status` STRING COMMENT '订单状态,Ready - 就绪、WaitingPayed - 待付款、Payed - 已付款待发货、Canceled - 已取消、Shipped - 已发货、WaitingCollecting - 已送达未领取、Delivered - 已收货、Confirmed - 已确认',
   status_comment STRING COMMENT '状态说明,比如已送达未领取时,这里可以记录签收地等信息,可空'
) 
PARTITIONED BY (ds STRING COMMENT '日期分区,格式yyyymmdd') 
STORED AS orc;

操作说明

首先,进入“数据质量中心”子产品,在质量监控菜单中,点击"新建监控"按钮,然后选择前序步骤中提到的mammut.dws_d_dqc_suggesion_demo表。操作者可以选择自己环境中已有的表。如果是分区表,建议设置上“分区筛选”,并设置具体的分区值。

案例说明 - 图1

点击左下角的“下一步”,进入第二步新建规则页面:

案例说明 - 图2

在左上角,点击"AI推荐规则"按钮,会新出现弹窗。

在弹窗的最上面输入框中支持填写监控要求,用于补充表/字段元数据信息,比如:表行数需要大于0,则在AI推荐时会基于监控要求推荐规则。

高级设置:输入框的下方存在高级设置按钮,用户可点击展开进行具体的表、字段规则针对性AI生成配置。

若不填写、不进行高级设置,则系统默认会基于表信息、字段信息、监控模板等生成推荐规则,本案例下,直接点击右侧的"开始生成"即可(执行时间较长,请耐心等待)。

案例说明 - 图3

高级设置栏目展开如下:

案例说明 - 图4

用户可点击AI填写让大模型一键生成表、字段监控要求。同时用户可对生成的规则进行编辑、点击“+”“-”对需要配置规则的字段进行增删选择。

如本示例监控任务规则配置所示,用户自行输入监控要求:client_token字段为非空、非null。同时用户对生成的规则进行编辑、点击“-”对需要配置规则的字段进行删减,保留了图中6个字段进行AI规则配置,此时点击开始生成按钮即可。

在弹窗的列表中开始动态生成推荐规则:

案例说明 - 图5

在该用户高级设置推荐案例中,AI共推荐了11条规则,如下内容:

ps:由于表的元数据信息、监控要求等差异,AI推荐的规则会存在不确定性,以下推荐的内容仅供参考。

案例说明 - 图6

接受了AI推荐规则后,可点击右上角的"X"关闭AI推荐规则的功能:

案例说明 - 图7

关闭AI推荐规则的弹窗后,重新回到第二步设置规则的列表页面,对于接受AI推荐的规则,在列表中会有"AI推荐"的标识:

案例说明 - 图8

在第二步设置规则后,点击下一步需要配置规则执行方式等内容,可保持默认配置;

在第三步支持点击"完成"保存任务,或点击"完成并试跑",或者点击"完成并设置调度"。

我们以点击"完成并试跑"为例,来对创建的数据质量监控任务保存并试运行操作。

案例说明 - 图9

点击"完成并试跑"后,会弹窗需要配置试跑的资源和通知等内容,需要勾选通知方式,其他内容可不改动使用默认项。

配置完成后,点击"试跑"开始运行数据质量监控任务。任务运行过程中,可点击"关闭"弹窗,让试跑的任务在后台运行,此时重新回到质量监控列表页。

案例说明 - 图10

试跑中的任务,可在"执行实例"模块统一查看试跑状态:

案例说明 - 图11

至此就完成了通过AI推荐规则生成数据质量任务的全流程。