版本:3.15.0

新增功能

1.数据比对中Hive对其他数据源的比对任务支持SQL模式比对

  • 功能介绍:
    • 此次新增了数据比对中SQL模式比对支持的数据源类型,包括Hive-MySQL、Hive-Oracle、Hive-SQLServer、Hive-Greenplum、Hive-Starrocks、Hive-Doris。

2.形态探查支持MySQL、SQLServer、Oracle数据源

  • 功能介绍:
    • 此次新增了形态探查中支持的数据源类型, 包括MySQL、SQLServer、Oracle。原先形态探查仅支持hive数据源,对一些外部数据源有探查需求时,只能通过先写传输任务导入hive然后进行探查,此次更新后可以直接对以上三类数据源进行探查,简化使用流程。

3.形态探查任务支持直接发起主键探查

  • 功能介绍:
    • 一般来说,主键探查往往需要发起多次探查才能确认主键。此次更新后,用户可以在形态探查列表上直接发起主键探查并即时查看探查结果,若结果显示主键不唯一,则再次发起探查即可,缩短用户使用链路,提高探查效率。
  • 功能入口:
    • 主键探查入口
      更新合辑(2025年) - 图1
    • 主键不唯一时,可点击数字查看重复数据明细
      更新合辑(2025年) - 图2 更新合辑(2025年) - 图3

3.形态探查支持SQL模式探查

  • 功能介绍:
    • 探查对象支持SQL产出的虚拟数据集,用户可以输入自定义SQL,通过SQL校验后,即可进入下一步进行探查。
  • 功能入口:
    更新合辑(2025年) - 图4
功能优化

1.自定义规则-表级(自定义SQL)规则代码解析支持别名相同时保留基准值和期望范围设置

  • 功能介绍:
    • 原先用户修改代码并重新解析后,原先设置的基准值和期望范围会自动清空,此次更新后,在代码解析时会出现气泡弹窗提醒用户是否要在别名相同时保留相关设置,避免用户只是想修改其中某一个字段导致其他字段设置的内容都被清空的情况,提高规则配置效率。
  • 功能入口:
    更新合辑(2025年) - 图5

2.新建监控任务时储存异常数据样本设置中,选择结果储存位置时快速创建表支持选择存储格式。

  • 功能介绍:
    • 原先默认仅支持TEXTFILE格式,此次新增PARQUET格式。需注意,在通过excel方式导入监控任务时,新建任务需要指定TEXTFLE/PARQUET,更新任务时,若已开启存储异常数据且表已创建时,此条配置修改不生效,若要修改存储格式则需要修改表名。
  • 功能入口:
    更新合辑(2025年) - 图6

2.形态探查任务列表相关优化

  • 功能介绍:
    • 此次调整了形态探查任务列表字段展示内容,包括探查对象为库表时支持点击跳转数据资产地图、操作列表中支持直接查看最近一次执行结果以及发起主键探查等。另外,探查内容支持批量导出。导出内容包括表级探查结果和字段探查结果。

版本:3.14.2

新增功能

1.跨表级模板规则支持与基准值计算表行数波动率

  • 功能介绍:
    • 新增系统规则模板,支持跨表级模板比对表行数波动率校验表行数与比对表表行数的波动率,是否在阈值内;同时,该类规则支持添加比对表的筛选条件,例如分区筛选和非分区筛选,因此该功能可用于比较同一张表不同分区的表行数波动率。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图7

2.新建模板规则时,支持选择与基准值差值为“绝对值”还是“原始差值”

  • 功能介绍:
    • 新建模板规则时,计算规则为“与基准值差值”时,期望范围里增加下拉框,可以由”绝对值“切换为”原始差值“。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图8
功能优化

1.数据比对、形态探查支持Doris数据源

2.质量监控任务执行趋势支持按日期筛选

  • 功能入口:
    更新合辑(2025年) - 图9

3.质量监控引用详情适配离线开发回收站功能

  • 功能介绍:
    • 如果质量监控任务引用的任务在回收站中,则在引用详情中提示任务已移入回收站。

版本:3.14.1

新增功能

1.表级模板规则支持同比波动率,新建规则模板基准值支持N天前同期值

  • 功能介绍:
    • 新增系统规则模板,支持表级模板比对1天/7天/30天前同比波动率;同时也支持用户新建规则模板支持N天前同期值,适用于小时调度的监控任务比对N天前同期值,例如昨日10点的数据与一周前10点的数据进行比对。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图10

2.质量监控任务独立调度支持crontab调度

  • 功能介绍:
    • 质量监控任务支持crontab调度和Quartz Cron调度,用户可以设置监控任务在特定时间段内不调度。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图11
功能优化

1.数据比对功能权限接入安全中心

  • 功能介绍:
    • 操作权限包括运行、编辑和删除,支持为不同角色用户对项目下的数据比对任务设置不同的权限。

2.数据比对设置规则时支持按照字段名称对源表字段进行搜索

版本:3.14.0

新增功能

1.规则模板支持批量配置监控规则

  • 功能介绍:
    • 表级模板与字段级模板支持批量配置监控规则,用户可以基于某一规则模板,批量选择表/字段,完成质量规则的创建。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图12
      点击进入批量新建规则页面,依次进行规则配置、选择字段/表,并完成规则验证,即可完成批量操作。
      更新合辑(2025年) - 图13

2.数据比对支持SQL模式

  • 功能介绍:
    • 数据比对原先支持选择两张已持久化到数据库中的表进行比对,此次新增SQL模式,即比对的对象支持两段SQl产出的虚拟数据集,如果需要对比多个日期分区,以及进行一些过滤、聚合、Join等,或是更改表结构的数据变动(如增加字段、更改字段类型等)用 SQL 模式对比将会更方便。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图14
功能优化

1.模板规则支持添加过滤条件

  • 功能介绍:
    • 字段级/表级别模板规则支持添加过滤条件。
  • 功能详细使用步骤:
    • 功能入口:
      更新合辑(2025年) - 图15

版本:3.13.0

新增功能

1.新增质量规则表

  • 功能介绍:
    • 原先规则列表和规则模板归入“规则管理”一级菜单,新增“规则对象表”二级菜单,支持从表的视角查看所关联的所有质量监控、质量规则和质量报告。

2.质量规则支持复制

  • 功能介绍:
    • 质量监控详情页的规则列表中,支持复制规则到当前监控任务中,帮助用户提高质量监控创建效率。
BUG修复

1.修复了告警组中的外部用户无法接收告警通知的问题。