控制台

版本:v1.14.0

新增功能

1.【项目中心(新)-资源运维】“资源运维”模块适配Impala队列,支持查看Impala队列的资源使用情况并设置报警,以及支持针对队列下的查询进行终止和资源诊断

  • 功能说明:
    • “资源运维”模块中,tab栏选择Impala队列后,会展示该项目-集群的Impala队列列表,查看各队列的内存配额和使用率,并支持对队列的内存使用率排队中作业数设置报警。
    • 队列详情页,支持查看指定时间范围的查询列表和队列资源监控,并支持终止查询,以及查看自助分析Query和离线开发SQL节点(执行引擎为Impala)的资源诊断。
    • 资源诊断页,支持查看查询内逐条SQL语句的执行详细情况、耗时操作、耗时原因和优化建议。
    • 权限说明:仅项目负责人/项目管理员支持设置报警,仅有查询的终止权限的用户支持终止查询,其余查看类型的操作项目内任意成员均可操作。
  • 功能使用注意事项:
    • 仅已购买“EasyEagle”产品且版本高于2.5.0的客户环境支持Impala队列的资源运维功能。

2.【项目组中心-集群管理】集群支持“资源运维”

  • 功能说明:
    • 集群列表中,点击操作列的“资源运维”按钮,即可进入该集群的“资源运维”页面。 -“资源运维”页面中,会区分Yarn队列和Impala队列,展示该集群下且归属于当前项目组的队列列表。
    • 队列列表页,支持查看各队列的归属项目、资源配合、资源使用情况和其余队列基础信息。 -点击“查看详情”,可以跳转查看该队列的详情页,了解更详细的队列资源使用情况;点击“修改队列”,可以跳转项目中心,修改队列配额等队列信息。
  • 功能使用注意事项:
    • 仅已购买“EasyEagle”产品且版本高于2.0.0的客户环境支持Yarn队列的资源运维功能。
    • 仅已购买“EasyEagle”产品且版本高于2.5.0的客户环境支持Impala队列的资源运维功能

3.【数据源登记】新增GoldenDB数据源类型

  • 功能说明:
    • 新增GoldenDB数据源登记,包括物理数据源和逻辑数据源,支持数据源连通性测试、编辑、批量变更等功能。

4.【数据源登记】达梦数据源新增8.1.3版本。

5.【平台管理-集群管理】支持查看集群的Hive-Site文件

数据传输

版本:v3.24.0

新增功能

1.【离线】数据去向为FTP时,文件格式支持dbf。

  • 功能介绍:
    • 创建离线传输任务,若数据去向为FTP时,支持文件格式选择dbf。

2.【离线】批量创建任务,支持选择任务引擎DataX,支持MySQL、Oracle、SQLServer、GaussDB数据源在DataX任务引擎下批量创建任务。

  • 功能介绍:
    • DataX非标品功能,需额外部署;

3.【离线】支持GoldenDB数据源类型创建离线传输任务。

  • 功能介绍:
    • 单个创建离线传输任务时,向导模式下,来源和去向支持选择GoldenDB数据源类型;
      • 批量创建离线传输任务时,支持选择数据来源为GoldenDB类型;
      • 任务包导入导出功能支持GoldenDB数据源类型。

4.【离线】当数据去向为FTP时,列分隔符支持填写多个字符,且最多不超过64个字符;

5.重点功能增加埋点统计功能,包括新建离线同步任务、新建实时同步任务、批量操作等相关功能;

功能优化

1.【离线】离线传输任务融入离线开发的功能优化,包括支持在离线开发侧删除引用的传输任务、支持复制传输任务时选择是否同步复制离线传输任务等;

2.【离线】非结构化功能适配spark3.3版本。

  • 功能介绍:
    • 当数据来源为FTP时,读取方式为非结构化,适配spark3.3版本;
      • 当数据来源为HDFS时,读取方式为非结构化,适配spark3.3版本;

3.【实时】实时传输任务Doris适配2.0版本;

4.【实时】实时传输的数据来源类型支持配置化展示;

5.【离线】创建离线传输任务,快速创建表增加文案提示,建表语句为系统根据默认的字段类型映射关系自动生成,不保证建表语句完全符合需求,请调整确认后再执行建表;

6.【离线】问题修复:包括页面支持库.表名方式搜索、线上任务和开发模式任务对比功能优化等。

7.对接发布中心的功能优化,支持在发布中心侧,点击数据传输任务名称可跳转至任务详情页,包括资源列表、发布记录、发布实例包等相关页面;

8.【离线】当数据去向为SFTP数据源类型时,若sftp采用ssh key的认证方式,且私钥格式为openssh时,离线数据传输对私钥格式进行适配;

9.【离线】数据去向为StarRocks时,导入方式功能优化,仅支持append的方式;

10.【离线】脱敏功能优化,当清空脱敏字段时,一并清空脱敏识别中的扫描规则,支持离线任务保存。

数据标准

版本:v2.2.5

新增功能

1.词根的状态变更和删除对接审批流程

  • 功能介绍
    • 词根在提交审核(由新增态转为草案/标准态,由草案态转为标准态)、废止、删除时,需要走工单审批,仅审批通过后方会执行操作。
    • 此外,词根配置增加“版本号”字段。词根为新增态时,版本号默认为1.0.0;词根转标准态或废止态时,版本号默认+1,且须高于当前版本;词根转草案态时,版本号默认不变,且须高于或等于当前版本。
    • 词根详情页,增加“操作历史“和”版本记录“模块。
    • 针对历史已创建的词根,状态默认为标准态,版本号默认为1.0.0。
    • 安全中心-角色管理的功能权限处,同步新增“提交审核”和“废止”的操作类型,仅有权限的用户可对词根执行相应类型的操作。

2.标准配置-个性化配置-免审核配置中,数据元/标准字典/词根申请为标准态/申请删除/申请废止支持设置免审核用户

  • 功能介绍
    • 若申请将数据元元/标准字典/词根置为标准态/废止态/申请删除数据元的用户在免审核列表中,则不需要审核即可完成对应操作。

版本:v2.2.4

新增功能

1.数据标准概览支持查看标准执行详情

  • 功能介绍
    • 标准执行详情分为:未引用数据元、标准核标不一致、字段命名不规范。系统默认每天00:00开始执行检测,检测范围为通过模型设计中心创建的表,并在此处更新执行详情。
    • 未引用数据元:系统会检测未引用数据元的字段,且如检测出字段的中/英文名称和数据元的中/英文名称一致时,会推荐该字段关联数据元。
    • 标准核标不一致:系统会针对已引用数据元的字段,检测其中文名称、英文名称、字段类型/长度、码值等是否遵循标准规范,若不遵循则作为核标异常统计到该报告中。字段类型检测暂仅支持以下数据源类型:Hive、MySQL、Oracle、Greenplum、Vertica
    • 字段命名不规范:系统会对模型表进行检测,检测其字段名称是否符合标准的词根翻译命名,对于不符合词根翻译的字段会进行统计。

2.数据标准概览支持查看相似性检测

  • 功能介绍
    • 相似性检测模块下,会展示检测出的相似的数据元和词根。系统默认每天00:00开始执行检测,并在此处更新执行详情。
    • 相似的判定标准:如果中文或名称的相似度超过50%,则认为是相似。
功能优化

1.数据标准概览-标准化统计,支持查看标准化明细

  • 功能介绍
    • 标准化明细中,会展示当前项目组有多少个项目下多少张表的多少个字段已关联数据元,并展示关联的明细列表。系统默认每天00:00更新数据。

2.标准模板配置-数据元-表示类属性,数据类型的值域由系统内置改为可自定义添加值

  • 功能介绍
    • 系统预置的数据类型值为:varchar、char、string、longvarchar、bit、numeric、decimal、tinyint、smallint、integer、bigint、real、float、double、varbinary、binary、date、time、timestamp、clob、blob、array、ref、struct。此外,可支持用户添加值。
    • 系统预置值和已被数据源引用的值不可删除。

3.数据元导入功能优化

  • 功能介绍
    • 批量导入数据元,支持更新:批量导入支持新增、更新,当导入不存在的标准则视为新增,当导入已存在的标准(内部标识符重复)则视为更新,更新策略为覆盖。更新数据元的场景下,数据元的状态和版本也会相应调整:导入前是新增态,导入更新后仍为新增态;导入前是草案态,导入更新后仍为草案态;导入前是标准态,导入更新后为草案态(版本号增1);导入前是废止态,导入更新后为草案态(版本号增1);。
    • 批量导入数据元,如部分数据元导入失败时,可导入成功的数据元。

维度建模(原模型设计中心)

版本:v1.9.6

新增功能

1.建模链路支持iceberg

  • 功能介绍

    • 支持创建iceberg表,在建表时可以选择执行引擎(Spark或Impala)、执行队列(只能选择有权限的队列)。
功能优化

1.添加和导入字段时,优化展示的数据元信息

  • 功能介绍

    • 字段列表页选择数据元时,下拉列表能展示数据元的中文和英文名称,之前仅有中文名称

    • 引用标准导入字段时,展示标准数据元的英文名称,之前展示标准编码易读性不好

2.Doris表拉取规则支持库名为中文

  • 功能介绍

    • 针对Doris2.1.3版本,可能存在库名为中文场景,本次适配库名为中文场景,也能配置表的抓取规则。

3.Doris建表和修改表时,表属性改为非必填

  • 功能介绍

    • 创建和编辑Doris表时,表属性可以作为非必填项,此时若空则以集群默认配置为准

离线开发&自助分析

版本:v7.12.0

新增功能

1.【离线开发】节点支持配置参数组

  • 功能介绍:
    • 在节点的“其他设置”中,支持引用参数组,针对线上调度和任务开发模式运行生效;在节点的“运行设置“中,支持引用参数组,针对节点内运行生效。
    • 参数的优先级为:节点“输入参数”中的参数>节点“参数组引用”内的参数>任务“运行设置“/“调度设置”的自定义参数>任务引用的参数组”内的参数
    • 在任务的“资源及配置-参数组”中,支持汇总查看任务引用的参数组和所有节点引用的参数组。

2.【自助分析】代码扫描支持配置强规则生效对象和弱规则生效对象

  • 功能介绍:
    • 代码扫描支持配置强规则生效对象和弱规则生效对象,生效对象支持选择项目角色和项目成员。
    • 当某成员同时在强规则生效对象和弱规则生效对象中,且命中该规则,则触发强规则。

3.【离线开发】任务详情页,支持从Git匹配并远程拉取任务

  • 功能介绍:
    • 前置条件:当前项目-集群,在“离线开发配置”的集成git中,如果“推送Git地址”中打开了“支持拉取”,或者“拉取Git地址”中配置了仓库,此处才会展示“远程拉取任务”的按钮;此外,要求用户有”任务远程拉取”的功能权限,否则按钮不可点。
    • 选择分支后,会去查找Git仓库下是否存在标识或名称相同的任务。匹配任务成功后,会再去匹配任务文件夹下是否存在标识或名称相同的节点,匹配成功则拉取节点代码,并覆盖当前任务的开发模式节点代码。
    • 支持远程拉取的节点类型有:SQL(.sql)、Python(.py)、Shell(.sh)、Perl(.pl)、逻辑数据源节点(.sql)。

4.【离线开发】支持对文件夹设置依赖授权

  • 功能介绍:
    • 前置条件:仅当用户有文件夹的“新建和编辑节点、运行、运行设置、结果预览、调度设置、报警设置”的权限时,才支持设置文件夹“依赖授权”;仅当用户有任务的“新建和编辑节点、运行、运行设置、结果预览、调度设置、报警设置”的权限时,才支持设置任务“依赖授权”。
    • 文件夹给某个项目开启依赖授权后,该项目选择依赖时可以选择文件夹(含子文件夹)下的所有任务(含新增任务)。
    • 文件夹回收对某个项目的依赖授权时,仅会回收当前文件夹的依赖授权,不回收文件夹下被依赖任务的依赖授权,故不影响被依赖任务的线上调度,仅当任务再次设置调度和提交上线时会检测不通过。
    • 如果将任务或文件夹移动目录,从开放依赖授权的文件夹中移出,则来源于文件夹的依赖授权会被回收,不影响已配置的任务依赖,仅当任务再次设置调度和提交上线时会检测不通过。
    • 文件夹开放和回收依赖授权时,被授权项目的负责人和管理员会收到邮件通知。

5.【离线开发+自助分析】代码扫描支持添加自定义规则,自定义规则会基于正则表达式进行代码扫描

  • 功能介绍:
    • 在离线开发和自助分析中,支持添加自定义规则,自定义规则会基于正则表达式进行代码扫描。
    • 在离线开发提交上线和自助分析执行时,会触发代码扫描,如命中规则则会根据强弱规则进行阻断或提醒。

6.【离线开发】项目配置-基础配置-提交上线设置,支持配置提交上线提醒

  • 功能介绍:
    • 在项目配置-基础配置-提交上线设置,支持配置提交上线提醒。开启提醒后,会在指定的提醒时间检测是否存在:SQL节点的输出Hive表的表结构更新之后、任务未提交上线的情况,如存在则会通过此处指定的提醒接收方式向任务负责人发送任务未提交潜在风险提醒。

7.【离线开发】配置管理-项目-集群配置,支持配置当前项目-集群下,线上模式是否执行质量监控任务

  • 功能介绍:
    • 该开关可用于控制离线开发任务线上调度时,所配置的数据质量监控任务是否执行。为开,则在调度执行时会执行质量监控任务;为关,则在调度执行时不会执行质量监控任务。修改后,仅对未来生成的实例生效。

8.【离线开发+自助分析】悬浮至代码中表名称时,支持显示执行账号的表权限

  • 功能介绍:
    • 表详情弹窗中,离线开发会显示开发模式执行账号的表权限,自助分析会显示执行账号的表权限。如果该账号未拥有全部权限,可点击“申请权限”前往安全中心申请表权限。
    • 针对未开启数据权限 或 使用老Ranger 或 LDAP登记的用户名和平台账号不一致的客户环境,不支持使用此功能。

9.【离线开发+自助分析】新增快捷键【Mac系统:Cmd+Enter,Windows/Linux系统:Ctrl+Enter】,用于运行当前语句

  • 功能介绍:
    • 鼠标定位至目标代码行,系统会自动识别该行代码所属的完整代码片段,并出现运行按钮。点击运行图标或使用快捷键(Mac系统:Cmd+Enter,Windows/Linux系统:Ctrl+Enter)即可快捷运行当前SQL语句。
    • 在自助分析点击当前SQL语句的运行按钮会使用快捷键时,会自动识别SQL代码中是否包含除Azkaban参数以外的参数,如果不包含则直接运行当前SQL,如果包含则出现高级运行弹窗,点击运行后高级运行当前SQL。
功能优化

1.【离线开发】轮询节点的数据源类型为默认类型时,支持选择查询引擎

2.【离线开发】针对SQL节点或轮询节点执行引擎为Presto引擎的离线开发任务,发布中心发布功能进行适配

  • 功能介绍:
    • 离线开发任务打包时,会保存节点-其他设置中选择的Presto集群。检测和发布时,会先查找接收方是否存在同名的Presto集群。如存在,则在接收方发布时会将任务保存的Presto集群的id替换为接收方同名Presto集群的id;如不存在,则强规则检测不通过,任务发布失败。

3.【自助分析】数据源为默认类型时,默认选中第一个有权限的引擎、队列

4.【离线开发】离线同步节点,支持清空节点引用的离线同步任务

  • 功能介绍:
    • 点击清空图标后,会二次确认是否要清空节点引用的离线同步任务。如确认清空,则节点的离线同步任务配置信息将会被清空,且无法恢复,请谨慎操作。

5.【离线开发】远程拉取任务,支持查看Git的任务文件夹内的文件结构

6.【自助分析】运行结果-运行信息中,增加展示:自定义函数引用(仅默认类型支持)、执行参照时间、参数

7.【离线开发】公共资源-参数组的参数值长度扩至16384个字符

8.【离线开发】节点右键运行时,前置增加对运行配置的必填校验

9.【离线开发】配合发布中心,支持从发布中心点击资源名称跳转至离线开发任务详情页和参数组详情页

10.【离线开发】节点的代码编辑器中,Hover至字段列表中的字段名称时,支持显示“字段描述”

11.【离线开发】节点选择时,支持一键全选待测试节点

12.【自助分析】运行结果-结果预览,支持展示字段类型

13.【离线开发+自助分析】代码表识别的逻辑优化

14.【离线开发+自助分析】新增代码扫描规则:“临时表建表语句的表生命周期超出允许范围”、“分区表建表语句的分区生命周期超出允许范围“,且支持自定义生命周期允许范围

任务运维中心

版本:v1.18.0

新增功能

1.周期实例列表新增“已选中实例”功能,支持跨页选择、支持基于筛选结果选择、支持基于实例ID导入、支持一键导出

  • 功能介绍:
    • 周期实例列表,原本仅支持选择当前页的内容,当前版本新增了“已选中实例”功能,相当于实例勾选的购物车;
    • 用户在选中某个实例后,该实例会被添加到“已选中实例”中,同时也支持基于筛选结果一键添加所有的实例(当前一次性最多可添加10000个);
    • 注意:如果记录数过多,以及本机电脑性能差异,可能导致单实例选中或取消时,出现卡顿问题;
    • 对于选中的实例,也同时适配批量重跑、终止、置成功、一键导出等;
    • 一键导出功能为当前版本新增的功能,支持在项目中心-功能权限中控制;

2.任务列表支持导出

  • 功能介绍:
    • 任务列表新增一键导出功能,支持按选中项导出、按筛选后的列表导出;
    • 一键导出的功能权限支持在项目中心-功能权限中控制;

3.大盘数据中列表支持下载

  • 功能介绍:
    • 项目组运维大盘、周期实例大盘中,任务出错排行、实例耗时排行、节点耗时排行、调度延迟排行,支持导出;
    • 导出时,支持设置最大最小阈值进行过滤。

4.值班组支持配置日历未维护通知信息

  • 功能介绍:
    • 项目的值班组支持人员值班排班,针对未来一段时间未配置日历时,支持配置相关提醒,包括提前天数、提醒方式、提醒接收人。

5.补数据支持一天仅跑一次

  • 功能介绍:
    • 任务补数据时,如果任务的调度配置是1天会执行多次,则在原本的补数据逻辑中,1天就会生成多个实例并执行多次;
    • 当前版本中,支持了补数据的“最多跑一次”功能,如果任务的实现逻辑为当天跑一次即可完成数据回补,则可以使用该功能;
    • 在单任务补数据或批量补数据时,满足下方所列的1种场景即可进行“最多跑一次”设置:
      • 1)补数据时选择了多个任务(不区分源头任务还是上下游任务)
      • 2)仅选择一个已调度的任务补数据,且调度类型设置不是常规设置
    • 目前“最多跑一次”支持不生效、执行每天最早实例、执行每天最晚实例等3种设置。
功能优化

1.报警历史中搜索问题修复

  • 功能介绍:
    • 报警历史中,报警类型为质量异常、质量检测失败的,原本的报警对象中会将“节点名”和“数据质量监控名称”通过“-”拼接在一起,可读性较差;
    • 当前版本对展示进行了优化,对质量监控和其所挂载的节点进行独立展示。

2.实例血缘中跨项目查看实例优化

  • 功能介绍:

    • 优化了实例详情-实例血缘中,点击其它项目(当前用户无该项目的访问权限)的实例时,浮框提示“无权限”的问题,改为支持跳转到新标签页,提示用户无该项目权限,需要申请加入项目。

实时开发

版本:v4.9.0

优化功能

1.对接发布中心功能优化,支持在发布中心侧点击实时资源名称,跳转至资源详情页,包括资源列表、在线生成、发布记录等页面。

  • 功能介绍:
    • 由实时开发任务名称,跳转至实时任务管理,打开实时开发任务详情。
    • 由流表名称,跳转至数仓管理,打开流表详情。
    • 由实时开发文件名称,跳转至文件管理,对应路径下的实时开发文件。

2.进入实时开发和实时运维页面,默认展开功能菜单选项。

3.实时任务监控指标,TaskManager 内存用量,JobManager内存用量,指标展示精度调整为2位小数。

4.优化Flink 1.14版本 和Flink1.18 版本, 与Hive 3 的流表兼容性。

5.优化通过openapi创建flinksql任务,支持跳过语法检查。

安全中心

版本:v4.1.4

功能优化

1.基于安全等级配置脱敏规则

  • 功能介绍:
    • 支持基于安全等级配置脱敏规则,作为整体的兜底策略。例如可以配置所有安全等级为S4的列都默认使用遮盖脱敏。

数据资产地图

版本:v2.19.8

新增功能

1.字段的映射血缘支持区分直接映射和间接映射

  • 功能介绍

    • 目前字段映射血缘没有区分是直接从上游引用得到下游字段,还是从上游经过加工处理后得到的下游字段。但实际业务场景中对血缘分析时,用户更加关注的是经过加工处理得到的上下游字段血缘。基本这个背景,本次产品上做了优化,支持基于字段血缘解析从而区分直接映射(即直接从上游引用得到下游字段)和间接映射(即从上游经过加工处理后得到的下游字段)。
  • 详细操作步骤

    • 进入Hive表详情页,查看字段血缘即可

2.表详情页支持设置字段安全等级

  • 功能介绍

    • 支持在Hive表详情页给字段设置安全等级
  • 详细操作步骤

    • 进入Hive表详情页,在字段列表页编辑字段安全等级即可
  • 注意事项

    • 默认仅表技术负责人、表所属项目负责人和管理员有权限设置字段安全等级
功能优化

1.表血缘下载时支持仅下载已展开的节点

  • 功能介绍

    • 之前表血缘下载默认是下载已展开层级的全部血缘,本次优化后支持下载已展开节点的血缘
  • 详细操作步骤

    • 进入Hive表详情页,在数据血缘模块下点击下载即可

2.StarRocks表详情页支持修改表描述

  • 功能介绍

    • StarRocks表详情页支持修改表描述
  • 注意事项

    • 默认仅表技术负责人、表所属项目负责人和管理员有权限修改表描述

3.表详情产出信息列表中增加任务跳转链接和节点类型

  • 功能介绍

    • Hive表详情产出信息列表中,增加任务跳转链接和任务节点类型(例如MR、SQL等)

4.首页目录导航跳转到资产目录对应路径下

  • 功能介绍

    • 之前首页点击导航目录会跳转到旧版资产目录中,本次优化为跳转到新版资产目录页

5.主题域可作为默认的资产目录

  • 功能介绍

    • 在实际业务中,有些用户在维度建模(原模型设计中心)中已经设计好了主题域目录,希望能够作为资产目录的来源目录之一,本次优化后,支持用户配置将主题域目录纳入到资产目录中,后续在做元数据采集、元数据治理中可以将元数据归属到主题域目录下,在资产目录查看时可以按照主题域目录来查看表。
  • 详细操作步骤

    • 在「配置管理-默认项配置-资产目录来源设置」中,可以勾选主题域,一旦勾选后则可以在元数据采集、元数据治理、资产目录中看到主题域目录。
  • 注意事项

    • 「配置管理-默认项配置-资产目录来源设置」的功能权限需要在安全中心分配,支持给角色或成员分配该权限。

数据治理360

版本:v3.2.2

新增功能

1.支持设置表生命周期策略

  • 功能介绍

    • 系统支持基于正则定时对符合正则要求的Hive表批量设置生命周期,当表或者分区生命周期到期后可自动进行过期数据清理,减少存储成本。
  • 详细操作步骤

    • 在「配置管理-表生命周期策略」模块中,可以新建、编辑、删除策略

    • 新建策略时,需要填写策略名称、库表名正则表达式、更新方式、表/分区生命周期、外部表到期数据处理策略等

    • 填写了库表名正则后,支持立即检测正则匹配的表结果,方便用户确认正则是否准确

    • 策略配置完成后,系统会定时检测符合正则的表,按照策略规则设置对应的生命周期,后续就根据生命周期对数据做清理

  • 注意事项

    • 需要在安全中心分配配置管理权限的人员,才有对应操作权限
功能优化

1.设置Hive外表生命周期时,调整默认的清理规则

  • 功能介绍

    • 之前设置Hive外表生命周期到期后的数据处理策略默认选项是“仅删除表元数据”,本次优化后默认选项是“删除表元数据和目录文件”

2.支持筛选和查看引用同一hdfs路径的Hive外表

  • 功能介绍

    • 针对多张Hive表引用同一hdfs路径的情况,系统增加筛选功能快速筛选出这种情况的表,且支持浮框展示对应表明细

数据质量中心

版本:v3.11.0

新增功能

1.数据质量支持Doris

  • 功能介绍:
    • 质量监控,数据源类型新增Doris,支持新建Doris类型的质量监控任务。

2.质量监控任务和规则支持批量删除

  • 功能介绍:
    • 支持批量删除质量监控任务。
      • 支持批量删除质量监控任务内的规则。
  • 功能使用注意事项:
    • 批量删除质量监控任务时,会自动过滤无权限删除、被离线开发节点引用、独立调度的任务,如果需要删除已使用的质量监控任务,需要解除引用后才能删除。

3.支持快速订阅质量报告

  • 功能介绍:
    • 根据质量监控任务覆盖方式订阅报告,支持按监控负责人快速筛选相关的任务。
    • 根据库表范围覆盖方式订阅报告,支持按表负责人快速筛选相关的表。
    • 质量监控任务列表,支持按照质量监控任务覆盖的方式,快速批量订阅质量报告。

4.质量监控任务的告警信息增加异常规则明细

  • 功能介绍:
    • 当质量监控结果异常时,在告警信息中展示异常明细规则的名称,规则类型,规则描述,执行结果。
    • 规则描述填写项中,支持通过填写变量来返回规则SQL查询结果中的特定列值,将业务信息展示在运行结果的告警信息中。

5.质量大屏支持下钻查看监控配置情况

  • 功能介绍:
    • 质量大屏,监控配置情况中的监控总量,强/弱规则总量,准确性/完整性/有效性/唯一性/一致性/及时性规则总量,支持下钻查看对应类型规则的明细数据

6.形态探查支持StarRocks

  • 功能介绍:
    • 形态探查,数据源类型新增StarRocks,支持新建StarRocks类型的形态探查任务。

7.数据比对支持StarRocks

  • 功能介绍:
    • 数据比对,数据源类型新增StarRocks,支持同个StarRocks数据源下,比对不同数据库/表的数据。
优化功能

1.对接发布中心功能优化,支持在发布中心侧点击质量监控任务名称,跳转至质量监控任务详情页,包括资源列表、在线生成、发布记录等页面。

数据服务

版本:v1.12.2

新增功能

1.支持根据发布中心侧发布策略中的hive库映射进行数据源替换

  • 功能介绍
    • 发布中心侧的发布策略支持配置Hive库映射规则,数据服务支持根据此处的规则在进行导入时对hive库进行替换。
  • 功能使用注意事项
    • 仅当在发布策略中数据源映射-集群内置数据源配置发布方和接收方对应的数据源(具体的数据源需与发布方项目-集群和接收方项目-集群的映射关系保持一致,比如项目A-集群1发布到项目B-集群2,则Hive数据源映射也需要配置为项目A-集群1 Hive数据源到项目B-集群2 Hive数据源),且再配置hive库映射后,API导入时才会进行对应Hive库的替换。

2.API超时时间延长至180秒

  • 功能介绍
    • 所有API类型超时时间均支持由原本的60s延长至180s,包括新建API、注册API、服务编排等。
问题修复

1.对接发布中心功能优化,支持在发布中心侧点击API名称跳转至API详情页,包括资源列表、在线生成、发布记录等页面。

2.注册API测试接口优化,区分data、header、query和body的传参。

发布中心

版本:v1.7.0

功能优化

1.点击资源名称支持跳转查看资源详情页

  • 功能介绍
    • 资源列表页:点击资源名称,可新开页面跳转【发布方】资源详情页
    • 发布包-在线生成:针对发布包内资源,点击资源名称,可新开页面跳转【发布方】资源详情页。
    • 发布记录:针对发布成功的资源,支持新开页面跳转【接收方】资源详情页
    • 发布实例包:针对发布成功的资源,支持新开页面跳转【接收方】资源详情页
    • 针对发布包-离线导入,不支持跳转查看,原因是此页面在接收方,而发布包内资源来自发布方,发布方和接收方网络隔离,无法跳转,故未开放此功能。

版本:v1.6.0

功能优化

1.发布策略-数据源映射-平台内置数据源提示文案优化

  • 功能介绍:
    • 配置集群内置数据源映射后,发布离线同步任务、质量监控任务、数据服务API、流表时,对应数据源将被替换

流程协作与通知中心

版本:v2.6.1

功能优化

1.修复工单详情页中选择“同意”后点击“提交”时出现异常确认弹框的问题

  • 功能说明:

    • 任意工单选择同意后,点击提交,都会出现一个确认弹框,当前版本已优化为小的气泡确认弹框。

2.支持平台级配置控制是否展示批量同意、终止、操作列操作

  • 功能说明:

    • 为避免审批人员不查看内容,直接批量审批,平台新增了配置,支持流程协作与通知中心隐藏批量同意、终止、操作列操作;

    • 入口在流程协作与通知中心左下角“配置管理”-“基础配置”,当前仅平台管理员、流协超级管理员可修改。

版本:v2.5.5

功能优化

1.安全中心的流程设计的“用户”节点中审批人选择“其他”新增了资源项目和项目组的负责人和管理员配置

  • 功能说明:

    • 安全中心库表权限申请时,如果需要项目获项目组级别的负责人获管理员审批时,可配置该项。

2.流程设计具体的“用户”节点的审批人中选择“其他”时支持多选

  • 功能说明:

    • 在选择“其他”类型的审批人时,支持下拉多选。