数据传输

版本：v3.34.0

新增功能

1.【整体】轻量化环境下适配Doris和Starrocks，相关功能进行兼容处理；

  • 功能介绍：
    • 【离线】在轻量化集群下，离线同步任务引擎不支持Spark，包括单个新建离线同步任务和批量模式，均不支持spark引擎；
    • 【实时】在轻量化集群下，不支持实时同步任务模块；
    • 【数据导入】在轻量化集群下，数据导入，来源仅支持txt和csv文件格式，不支持选择执行队列；
    • 【配置管理】在轻量化集群下，配置管理，新建审批策略，不支持spark引擎下独有的数据源类型，比如API等；不支持对数据去向为Hive配置快速建表配置，不支持去向表为Hive的字段类型映射规则设置。

2.【离线和数据导入】离线传输任务和数据导入的字段映射列表支持锁定功能；

  • 功能介绍：
    • 离线同步任务和数据导入功能，字段映射列表支持锁定功能，锁定后，重新选择库表等将不会清空映射，以满足在相同表结构情况下需要重新配置字段映射的问题。

3.【离线】创建离线同步任务，读写功能支持适配达梦8.6版本，数据来源和数据去向均支持选择达梦8.6版本创建离线同步任务。

4.【离线】离线同步任务，适配hana新版本2.20.17版本，数据来源和数据去向均支持选择hana 2.20.17版本创建离线同步任务。

5.【离线】创建离线同步任务，数据来源适配Doris 2.1的物化视图，支持对物化视图的数据进行读取。

6.【离线】当来源为MySQL、Oracle或SQLSqrver分库分表场景下，去向为Hive时，动态分区支持选择来源库/来源表作为分区内容。

  • 功能介绍：
    • 在分区分表场景下，去向Hive数据源类型，动态分区支持选择${source table}、${source database}来源表/来源库作为动态分区值。

7.【实时】当来源为mysql类型时，传输起始位点选择指定binlog日志时的交互提示优化。

  • 功能介绍：
    • 当选择传输起始位点时，指定binlog日志时，文案提示优化，增加示例说明；
    • 文案提示包括：请输入binlog文件名，比如mysql-bin.000003；请输入事件在binlog中的起始位置，比如100.

8.【实时】实时传输任务支持血缘推送，可在数据资产地图表详情查看实时任务产生的血缘。

9.【实时】实时传输来源适配oceanbase for oracle de 4.2.5版本，支持选择该版本的oceanbase的数据源创建实时同步任务。

功能优化

  1. 【离线】离线同步任务融入离线开发交互优化，包括批量或单个删除离线同步任务时，若关联的离线同步任务已被删除进入回收站，增加提示说明等；

  2. 【离线】离线同步任务，线上任务下，查看调度记录的交互优化，针对关联的离线开发任务，支持跳转至离线开发，若任务已被删除进入回收站，则支持提示任务已被删除。

  3. 【配置管理】遗留问题修复，新建审批策略时，若选择的数据来源/去向为Hive类型，支持选择当前项目集群下内置的hive以及跨项目的hive，可选逻辑同新建离线同步任务。

  4. 【实时】修复MongoDB写kafka任务认证异常的问题，使用数据源登记时已有的admin db；

  5. 【实时】优化发布中心bug报错问题，解决当接收方不存在同名数据源，但在前期发布检测时通过此条校验规则的问题。

  6. 【实时】查看任务的详情页交互优化，增加Flink页面和监控的快捷键。

  7. 【离线】针对达梦数据源类型，数据库表量大的情况下，优化获取表列表的接口性能。

指标系统

版本：v2.8.19

功能优化

1.指标详情页支持展示修饰词描述信息

  • 功能介绍

    • 在指标详情页，增加修饰词描述信息的展示

2.配合隐藏依赖地图高级版功能：指标确权流程禁用

  • 功能介绍

    • 如果系统部署的是数据资产地图基础版，则不支持指标确权流程，如需该功能，可联系商务考虑增购地图产品高级版

3.指标地图搜索指标时支持推荐

  • 功能介绍

    • 首页搜索指标时，增加下拉推荐功能，提升用户体验

指标平台

版本：2.6.7

功能优化

1.无Hadoop时自动隐藏Hive类型

  • 功能介绍

    • 若平台底座对接的不是Hadoop体系，而是轻量化数据源例如StarRocks/Doris等，则平台支持自动隐藏Hive相关内容例如资源配置中数据源类型不含Hive

2.编辑指标时增加下线模型的校验和提示相关优化

  • 功能介绍

    • 目前新建和编辑指标时，只能引用已发布的模型。如果存在已经被引用的模型后期被下线了，则在编辑指标时增加模型已下线的提示，并且计算指标表达式配置中如果引用了已下线模型的字段，则在表达式配置处也增加对应提示说明

数据标准

版本：v2.3.1

新增功能

1.词根支持目录管理

  • 功能介绍
    • 支持在安全中心-角色管理-项目组角色下，给项目组成员授予“新建分类”、“编辑分类”、“删除分类”的功能权限。默认仅平台管理员、项目组负责人、项目组管理员有所有权限，分类创建人有该分类下新建/编辑/删除分类的权限。

2.词根、标准字典、原始字典支持批量挂载分类

  • 功能介绍
    • 仅当用户有该标准的编辑权限时，支持挂载分类。

版本：v2.3.0

功能优化

1.数据元的数据格式新增格式类型：无长度限制混合字符（uc）

  • 功能介绍
    • 数据元的数据格式新增格式类型：无长度限制混合字符（uc），无长度限制。
    • 维度建模、数据质量中心、数据标准-标准执行详情-标准核标不一致也已同步适配该格式类型。

维度建模

版本：v2.0.2

新增功能

1.支持Greenplum扩展参数

  • 功能介绍

    • 创建Greenplum表时，之前支持表单模式填写建表相关属性例如分布策略、存储模型、分区规则等，本次增加了脚本模式，支持更加灵活的方式自定义建表参数，具体可按照产品文案提示和官方建表DDL来进行填写
功能优化

1.字段英文全称格式规范优化

  • 功能介绍

    • 字段英文全称格式规范优化，兼容数据标准中数据元的英文全称

2.无Hadoop时自动隐藏Hive类型

  • 功能介绍

    • 若平台底座对接的不是Hadoop体系，而是轻量化数据源例如StarRocks/Doris等，则平台支持自动隐藏Hive类型

3.分桶规则支持非必填

  • 功能介绍

    • 创建Doris表时，建表属性中分桶规则改为非必填

4.修改表页面，选择表后增加loading效果

  • 功能介绍

    • 修改表页面，选择某张表后，系统需要拉取表的元数据信息，故可能存在短暂等待的过程，为了提升用户体验故增加了页面加载loading效果

5.“新建表”或者“修改表的新增字段”时，支持上下拖动字段顺序

  • 功能介绍

    • 新建表时，支持上下拖拽来调整字段间顺序

    • 修改表时，对于新增的字段，支持上下拖拽来调整字段间顺序

6.表和字段中文名称可配置是否必填

  • 功能介绍

    • 不同用户对表和字段中文名称是否必填的要求不同，本次增加配置项，可灵活配置表和字段中文名称是否必填

7.页面跳转支持保持当前项目集群信息

  • 功能介绍

    • 在此之前，如果用户同时打开了产品的多个页面，并切换了不同的项目，则原来页面中若有新开页面跳转的场景，则会自动切换为最近访问的项目集群。本次优化后，如果原来的页面有新开跳转页面的场景，则将会保持跳转前所在的项目集群信息，不会自动切换为最近访问的项目集群

离线开发&自助分析

版本：v7.15.0+v7.15.1

新增功能

1.【离线开发】离线开发配置支持设置报警规则模板

  • 功能介绍：
    • 在离线开发配置的项目-集群配置的基础配置中，支持添加、修改和删除规则模板。 在任务的报警设置中支持引用规则模板来快捷添加报警规则。 注意：报警规则添加完成后，规则模板的修改不会影响已添加的报警规则。

2.【离线开发】批量操作支持批量添加报警规则和批量删除报警规则

  • 功能介绍：
    • 批量操作支持批量添加报警规则和批量删除报警规则。
    • 如果报警对象类型选择节点/质量监控，将删除选中的任务下所有满足触发规则的节点/质量监控的报警规则。
    • 触发规则如果选择：任务运行超时、任务完成超时、节点运行超时，不支持配置具体超时时间，系统将自动删除选中任务下所有对应类型的报警规则。

3.【项目中心】支持申请删除队列

  • 功能介绍：
    • 在项目中心-资源管理-集群资源详情页，支持申请删除队列。
    • 点击删除队列按钮，并填写申请原因后，就会创建审批工单。审批通过后，系统将自动执行删除队列。
    • 针对NDH集群的Yarn队列，审批通过后Yarn队列的数据将会被清除，且不可恢复；针对非NDH集群的Yarn队列，审批通过后，仅移除当前集群和Yarn队列的绑定关系，Yarn队列的数据不会清除。

4.【离线开发】代码搜索的“下载搜索结果”支持选择要下载的列

  • 功能介绍：
    • 下载搜索结果时，点击“下载所有列”，会直接下载Excel文件，点击“选择要下载的列”，支持基于用户选择要下载的列来生成Excel文件。

5.【离线开发】代码搜索的“下载搜索结果”对接项目中心功能权限

  • 功能介绍：
    • 在项目中心-功能权限，支持管控”下载搜索结果“的权限。
    • 项目负责人和项目管理员，默认有”下载搜索结果“的权限，且不可取消；“全部成员（包含新增成员）”，默认有“下载搜索结果”的权限，支持取消。

6.【离线开发】SQL节点内运行支持选择是否开启语法检查

  • 功能介绍：
    • SQL节点，节点内运行是否配置是否开启语法检查。开启后，在运行前将自动检查SQL语法，确保SQL语句正确无误。建议开启以避免因语法错误导致的运行失败。
    • 针对历史已创建的节点，语法检查已自动开启。

7.【离线开发】任务调度设置的智能推荐功能，智能推荐标签的逻辑优化

  • 功能介绍：
    • 在调度设置的【任务依赖】和【节点依赖】中，如果已添加的上游节点仍在当前最新一次的智能推荐范围内，则智能推荐完成后原来已添加的上游节点，也增加【智能推荐】的标签。

8.【离线开发】提交上线检测支持“调度依赖检测”

  • 功能介绍：
    • 提交检测-调度设置检测新增检测项“调度依赖检测”，检测任务的调度设置是否存在多余依赖或缺少依赖。
    • 此检测项如检测不通过，仅作风险提示，不会阻断提交上线。
    • 调度依赖检测规则说明：1、如果上游依赖节点的输出表未作为本任务节点的输入表，则认为存在多余依赖。其中，解析上游依赖节点的输出表时取上游线上模式的代码；2、如果本任务节点的输入表对应的产出任务未作为上游依赖节点，则认为缺少依赖。其中，查询本任务节点的输入表对应的产出任务时仅取线上模式调度对应的产出任务；3、节点的输入表与输出表支持在任务内传递，即同一任务内的上游节点的输出表会视作下游节点的输出表，下游节点的输入表会作为上游节点的输入表。需注意，任务之间的依赖关系不支持传递，建议用户按照实际依赖情况添加依赖关系，便于直观地查看和管理血缘。
    • 此外，在离线开发配置-项目配置-提交检测中，支持设置是否允许跳过该检测项。设置为是后，提交上线检测时将允许用户点击“跳过检测”来跳过该检测项。跳过后，提交上线检测报告中会显示用户已跳过检测，作为风险项提示，不阻断提交上线。
  • 功能使用注意事项
    • 任务组任务不支持调度依赖检测
功能优化

1.【离线开发】针对Doris节点，自定义血缘支持设置是否为永久血缘

  • 功能介绍：
    • 针对Doris节点-自定义血缘，支持勾选该组血缘是否为永久血缘。
    • 如勾选为永久血缘，则节点运行（含开发模式运行、线上模式调度等）成功后即会推送血缘至数据资产地图，该血缘将不会被系统自动清理。仅当删除血缘并重新运行节点或取消勾选永久血缘并重新运行节点后，永久血缘会被清理。
    • 血缘的系统清理机制如下：1、静默血缘：血缘产生7天后自动清理（7天为默认值，支持运维后台配置）；2、活跃血缘：任务在近7天内应调度但实际未调度，则血缘自动清理；任务的输入表或输出表发生变更，则原血缘自动清理（7天为默认值，支持运维后台配置）。

2.【离线开发】批量操作支持按照开发模式调度生效时间、开发模式调度周期、线上模式调度生效时间、线上模式调度周期筛选任务，支持一键展开或收起表格开发模式调度信息和线上模式调度信息列内容

3.【项目中心】安全漏洞修复：修复“申请新项目”时后台支持查询全量用户的问题。

4.【自助分析】HANA适配新版本2.20.17

5.【离线开发】节点内运行和提交上线时，针对SQL节点和OracleSQL节点增加代码检测

  • 功能介绍：
    • 针对SQL节点（引擎类型为Spark、Hive、Impala、Inceptor、Argodb）和OracleSQL节点，如果SQL语句末尾为注释，会导致运行失败。故此版本在节点内运行和提交上线检测中增加了检测，作为风险提示，不阻断运行和提交上线。

数据质量中心

版本：3.16.1

新增功能

1.质量监控任务支持Doris物化视图

  • 功能介绍：
    • 适配Doris物化视图，支持给Doris物化视图配置监控任务。

2.新增数据质量执行结果的OpenAPI

  • 功能介绍：
    • 支持根据监控开始时间、监控名称/监控ID等入参获得监控名称、监控对象、监控字段、比对信息、字段执行结果、采样结果、期望范围、执行结果等信息

3.自定义规则异常行数开启逻辑调整

  • 功能介绍：
    • 针对自定义SQL（包括表级和字段级），开启了异常数据样本时，右侧新增选项，老任务默认不开启，新任务用户开启了异常数据样本时这个开关默认勾上。勾选后，在运行结果中可以直接查看异常数据行数，注意此功能可能会影响任务执行时长。

4.新增项目级别资源目录

  • 功能介绍：
    • 新增项目级资源目录，项目-集群粒度隔离，每个项目-集群下资源目录均不同，创建监控任务时可以选择关联的项目级资源目录和项目组级资源目录；同时，在安全中心权限管理中，新增操作“编辑项目资源目录”，勾选后，角色有权限进入配置管理并编辑项目级资源目录（项目组资源目录和其他内容无编辑权限则不显示）。
功能优化

1.监控任务批量导入时支持导出结果

  • 功能介绍：
    • 监控任务批量导入时，有时会存在较多校验未通过的情况，此次升级后支持对校验结果支持导出，用户可以直接基于校验结果在本地修改Excel文件后直接上传，方便在本地Excel中直接筛选查看异常情况并修改，提高导入监控任务的效率。

2.其他优化

  • 报告订阅模板列表接收人展示接收组的优化
  • 编辑探查/比对/监控任务，页面提示优化
  • 适配数据标准，标准推荐规则类型新增“无长度限制的混合字符”

版本：3.16.0

功能优化

1.数据对比-字段对比结果里面支持排序

  • 功能介绍：
    • 在查看数据比对结果时，对于比对字段较多的情况，原先无法直观看出存在不一致的字段有哪些。此次升级后，支持对结果进行排序，可以更加直观查看比对结果。

数据资产地图

版本：v3.0.6

新增功能

1.Iceberg表详情页支持展示实时传输任务生成的表血缘

  • 功能介绍

    • 实时传输任务（例如MySQL->Iceberg）运行后，在来源端MySQL表详情页和去向端Iceberg表详情页均可查看到表级血缘

  • 注意事项

    • 暂不支持实时传输任务字段级血缘

2.支持设置Hive分区表保留的分区数

  • 功能介绍

    • Hive表详情页设置生命周期时，如果分区生命周期为非永久，则增加“分区数据保留”的配置，防止分区生命周期到期后将所有分区数据删除，可开启分区数据保留功能，优先以设置的分区生命周期为准。
功能优化

1.字段编辑、主键编辑对接安全中心授权

  • 功能介绍

    • 在此之前仅表技术负责人、表所属项目负责人/管理员有权限编辑主键和字段。本次优化后，支持在安全中心给指定角色或用户授予编辑权限

2.支持给字段关联已有的原始字典，且可查看跳转链接

  • 功能介绍

    • 在此之前元数据新建或编辑时，只能给字段创建原始字典，本次优化后，支持给字段关联已有的原始字典

3.物理视图表的删除权限支持根据用户鉴权从而显示是否可操作

  • 功能介绍

    • 项目内、项目外的hive列表中，支持根据当前用户是否有删表（Drop）权限来决定“删除”按钮是否可点击

4.升级引用的数据标准SDK版本至1.1.16

  • 功能介绍

    • 标准组件有功能升级（增加数据元的数据格式类型），故这里对应升级SDK，用户层面可不用感知

实时计算

版本：v4.14.0

新增功能

1.【实时开发】支持代码搜索

  • 功能介绍：
    • 实时开发-任务管理模块，新增代码搜索入口，支持对开发环境和运维环境的SQL任务进行代码搜索，搜索结果中支持对任务负责人、执行状态等进行筛选。

2.【实时运维】任务级别告警支持设置免打扰时间

  • 功能介绍：
    • 任务报警设置页面中新增支持设置免打扰时间，在免打扰时间时间，告警触发后不会发送通知给接收人，但是在【报警历史】模块中会记录报警信息。

3.【实时运维】运维大盘支持展示异常任务列表

  • 功能介绍：
    • 对于运行中的任务，支持展示JM内存异常、TM内存异常、TM CPU负载异常的任务列表，并支持导入全量任务为excel文件。默认使用PERCENTILE(field_key, N)函数，选取指标中大于N%的这个字段值。例如，会对JM内存使用率的打点数据进行排序，取99%分位点值与设置的阈值（例如30%）比较，小于则认为是任务异常。实时平台管理员可以在实时平台管理中修改默认规则。

任务运维中心

版本：v1.19.8

新增功能

1.周期实例运维列表增加项目组视角

  • 功能介绍：
    • 原先项目组负责人想要查看项目组下实例运行情况并对实例进行批量操作只能通过一个一个项目手动切换实现，操作繁琐不便，此次升级后，周期实例运维列表新增“项目组视角”，项目组负责人/管理员可以点击进入，项目组视角下会展示当前项目组下所有实例列表，并支持批量操作。
功能优化

1.周期实例运维列表支持按照执行时间和结束时间的时间筛选项

  • 功能介绍：
    • 周期实例运维列表中，支持按照实例的执行开始时间和结束时间进行筛选。

版本：v1.19.7

功能优化

1.任务列表支持批量设置任务暂停调度

  • 功能介绍：
    • 在任务列表，批量操作-更多中，新增“暂停调度”和“恢复调度”，用户可以选中多个任务后批量进行暂停调度或恢复调度操作。

2.页面访问权限接入安全中心

  • 功能介绍：
    • 任务运维中心的页面访问权限控制原先是在项目中心-功能权限中进行相关设置和授权，此次更新后，页面访问权限控制内容将迁移至安全中心-项目级角色编辑权限-产品页面访问权限。原先用户的权限将同步迁移，不影响用户使用。

3.基线关联实例失败告警支持智能取消

  • 功能介绍：
    • 如果基线触发条件选择了“关联实例失败告警”，则下方新增显示开关“上游实例失败时当前基线告警智能取消”，默认关闭。开启后，上游实例失败时，会首先判断上游是否有直接挂载基线，如果有，则当前基线（即使订阅了基线关联实例失败告警）不再发送基线关联实例失败告警；如果上游没有直接挂载基线，则当前基线仍然会发基线实例失败告警。

数据服务

版本：v1.12.9

新增功能

1.在轻量化场景下，数据服务进行功能适配。

  • 功能介绍
    • 在轻量化环境下，会默认隐藏掉内置Hive数据源类型，不支持新建API时选择Hive类型，也不支持筛选。

2.新建API时，新增支持Oceanbase数据源类型，生成方式支持向导模式和脚本模式。

  • 功能介绍
    • 当前版本适配了oceanbase 4.1.2版本，支持在新建API时，向导或脚本模式下选择Oceanbase数据源创建API。
功能优化

1.组件之间接口内部鉴权逻辑完善，支持在ops侧通过server.auth.switch=true参数配置是否开启接口鉴权。

2.数据服务Doris数据源适配支持Doris 2.1版本的物化视图。

3.数据服务PostgreSQL数据源类型，适配支持带有"-"特殊字符的schema名称。

安全中心

版本：v4.2.0

新增功能

1.支持多级安全分类目录，并添加资源到指定分类下

  • 功能介绍

    • 之前安全中心的数据分类最多支持两层，不方便进行多级分类管理。本次对安全分类做了整体优化，支持自定义多级分类目录，其中分类目录分为两种类型，一种是普通分类（对元数据基于业务进行分类管理，可以应对一般的分类分级要求），一种是安全管理分类（在普通分类基础上可以基于分类进行权限管理）。从二级分类目录开始，可以针对指定分类目录添加库、表等资源
功能优化

1.新增动态脱敏时，支持列名模糊搜索

  • 功能介绍

    • 新增动态脱敏时，支持列名模糊搜索，当列数量较多时，搜索有助于快速找到目标字段

2.申请权限时，支持按角色申请

  • 功能介绍

    • 申请权限时，支持给项目内指定角色申请权限

控制台

版本：v1.16.9

新增功能

1.【Doris数据源】登记Doris数据源，若开启了源系统账号鉴权，支持引用平台级数据源，且支持联邦查询功能

  • 功能说明：
    • 在登记Doris数据源时，若开启了源系统账号鉴权功能，支持引用平台级已登记好的Doris数据源，此时也支持开启联邦查询功能。

2.【Oceanbase数据源】对于Oceanbase数据源类型，若数据库类型为Oracle时，新增版本4.2.1(企业版)和4.2.5(企业版)。

版本：v1.16.8

新增功能

1.【导航栏】支持根据安全中心产品页面访问权限控制导航栏展示的子产品

  • 功能说明：
    • 当安全中心产品页面访问功能开启后，支持根据安全中心产品页面访问权限控制导航栏展示的子产品。
    • 针对注册在项目级的子产品，仅当该用户通过项目角色或项目成员获取了当前项目该子产品的产品页面访问权限时，才能在导航栏查看到该子产品；针对注册在项目组级的子产品，仅当该用户通过项目组角色或项目组成员获取了当前项目所属项目组该子产品的产品页面访问权限时，才能在导航栏查看到该子产品。

流程协作与通知中心

版本：v2.6.8

功能优化

1、任务转交审批同意时，强化提示文案的展示

  • 功能介绍

    • 离线开发和任务运维在转交任务审批时，如果转交后用户是用“个人账号”运行任务，则系统会自动以该个人账号身份自动重跑一次任务。故在审批时，增强该提示说明，并且注意内容红色显示

2、离线开发删除队列事件配合改SQL等

  • 功能介绍

    • 底层SQL适配，用户无需关注