控制台

版本：v1.16.0

1.支持CDP 7.1.x版本登记，新增hive数据源版本类型

• 功能说明：
  • 登记hive数据源时，新增版本类型，可选择3.1.x-CDP7.1.x版本登记。

2.支持InfluxDB数据源类型登记，新增数据源时支持选择InfluxDB类型。

3.登记API数据源类型时，自定义参数值字符限制大小调整，由原本的500调整为支持5000字符大小。

版本：v1.15.1

1.【SR数据源登记】支持在平台级别登记SR数据源，支持在"数据源管理"模块登记SR数据源时引用平台级数据源

• 功能说明： -平台管理员操作：在平台管理的资源管理中，支持对平台Starrocks资源进行登记； -项目组管理员或有登记数据源权限的用户操作：在数据源管理中，登记SR数据源时支持引用平台级资源，

数据传输

版本：v3.27.0

1. 【离线】数据来源为FTP，数据去向为Doris时，支持快速创建Doris表，FTP支持定义schem内容；

• 功能介绍：
  • 数据来源为FTP时，支持自定义schema内容，当文件格式选择text、csv、excel时，支持选择文件是否包含标题以及标题所在的行数，可填写字段信息；当文件格式选择xml时，无需定义字段信息；

2.【离线】数据去向为Doris时，快速创建Doris表弹框优化，支持选择表类型。

• 功能介绍：
  • 当选择表类型为明细表时，需要选择Key列，支持多选；
  • 当选择表类型为主键表时，同样需要选择Key列，支持多选；
  • 当选择表类型为聚合表时，需要选择Key列和Value列，且Value列需要选择对应的聚合类型，需要注意的是，Value列和Key列字段不可重复，value列支持选择多个字段，配置不同的聚合类型。

3.【离线】当任务引擎为Datax时，向导模式下数据来源和去向新增达梦数据源类型；

4.【离线】当任务引擎为DataX时，向导和SQL模式下，数据来源和去向适配MySQL8版本；

5.【离线】页面形式批量创建离线任务，任务引擎为DataX时，数据来源支持达梦类型，并适配MySQL8版本。

6.【离线】当任务引擎为DataX时，向导模式下，数据来源新增MongoDB类型；

7.【离线】当任务引擎为DataX时，向导模式下，数据来源新增本地文件类型(DataXLocal);

8.【离线】当任务引擎为DataX时，自定义参数中支持对channel数、脏数据、batchsize、jvm等参数进行配置；

9.【离线】离线同步任务列表，新增来源数据源和去向数据源信息展示，且支持对来源数据源和去向数据源进行筛选操作；

10.【实时】实时同步任务列表，支持批量删除操作；

11.【离线】数据去向为SQLServer时，写入规则支持merge into，且联动显示更新键字段，支持选择SQLServer表中的字段，支持多选。

12.【离线】以页面形式批量创建离线同步任务时，第三步支持对创建失败的任务执行重试操作；

13.【离线】【实时】数据去向支持快速建表的类型，表名统一长度为1~128个字符，包括离线(数据去向为Doris、StarRocks、iceberg、clickhouse、greenplum、内置hive)和实时(数据去向为内置hive、iceberg、starrocks)场景。

14.【离线】spark引擎下，向导模式，数据来源和去向新增influxDB数据源类型；

15.【离线】当任务引擎为DataX时，且数据来源为HDFS，字段映射支持删除操作，支持选择字段不导入功能，且支持自定义索引字段类型的功能，支持对字段映射列表进行调整。

16.【实时】自定义参数内容优化，支持对字段类型是否转换等进行配置；

17.【离线】spark引擎下，支持选择cdp版本的Hive数据，新增hive类型适配；

18.【实时】实时传输数据去向写入分区功能增强，支持对不同表结构的写入分区进行配置；

19.【离线】审批策略功能增强，支持使用范围授权，可将当前项目下创建的策略分享给其他项目复用；

1.rocketmq版本问题修复，版本号和元数据中心对齐；

2.数据同步任务融合离线开发任务功能优化，支持对无编辑权限的用户进行置灰操作，无编辑权限的用户在离线开发侧不支持引用离线同步任务；

3.starrocks大小写敏感问题修复；

4.【离线】spark引擎下，当数据去向为vertica时，写入规则支持选择copy的限制条件进行调整：若数据来源类型为FTP-text，仅当特殊字符替换开关关闭时，写入规则才支持选择copy，其他情况下不限制copy的选择。

5.【离线】spark引擎下，向导或sql模式，当数据去向为Doris或starrocks时，且导入方式选择stream load，导入间隔默认值从0调整为1000ms，新增batchsize必填字段，默认为5w；

6.【离线】从发布中心跳转到离线同步任务详情页面的url内容更新；

7.【离线】datax引擎下的数据血缘上传逻辑优化；

8.【实时】flink cdc oracle connector功能优化，自动增加心跳配置。

数据标准

版本：v2.2.8

1.数据元支持开启变更发布通知

• 功能介绍
  • 变更发布通知开启后，当数据元存在数据类型或长度发生变更并发布时，系统会给引用了该数据元的表技术负责人发送相关通知。
  • 历史已创建的数据元此开关默认关闭，不受影响。

• 功能详细使用流程

  • 功能入口

    

1.标准字典导入功能优化

• 功能介绍
  • 批量导入标准字典，支持更新：批量导入支持新增、更新，当导入不存在的标准字典则视为新增，当导入已存在的标准字典（内部标识符重复）则视为更新，更新策略为覆盖；。
  • 批量导入标准字典，如部分标准字典导入失败时，可导入成功的标准字典。

2.原始字典导入功能优化

• 功能介绍
  • 批量导入原始字典，支持更新：批量导入支持新增、更新，当导入不存在的原始字典则视为新增，当导入已存在的原始字典（内部标识符重复）则视为更新，更新策略为覆盖；。
  • 批量导入原始字典，如部分原始字典导入失败时，可导入成功的原始字典。

3.词根导入功能优化

• 功能介绍
  • 批量导入词根，支持更新：批量导入支持新增、更新，当导入不存在的词根则视为新增，当导入已存在的词根(词根编码和中文全称均重复)则视为更新，更新策略为覆盖

4.标准字典列表支持展示字段引用数和数据元引用数

• 功能介绍
  • 支持展示当前项目组下的字段引用数和数据元引用数。其中，字段引用数按天更新，每天0点更新一次数据。

版本：v2.2.7

1.标准拾取支持Doris和StarRocks数据源

指标平台

版本：2.6.4

1.指标发布/下线支持对接审批流

• 功能介绍

  • 指标发布、下线将创建对应工单，审批通过后才可完成发布、下线

2.已发布指标默认全员可查看，并增加主动申请指标分析权限的流程

• 功能介绍

  • 首页已发布的指标，如果没有分析权限则仅能查看基本信息，如果要分析指标数据可以发起指标分析的申请，审批通过后就可查看分析指标数据

3.派生和计算指标支持时间限定

• 功能介绍

  • 针对派生指标和计算指标，如果要支持对近一段时间内的数据进行计算，并每天更新时间范围，例如“近7天销售额”就是每天计算最近7天的数据，则需要在定义指标时开启时间限定，并指定时间信息

4.指标复制

• 功能介绍

  • 支持根据已有指标快速复制来创建新的指标，只要修改部分配置信息即可，提升指标配置效率

5.支持引用草稿态的指标

• 功能介绍

  • 派生或者计算指标支持引用草稿态指标，但是指标发布前需要依赖的指标是已发布或一同发布

6.指标同义检测规则增加”时间限定“

• 功能介绍

  • 由于本版本新增“时间限定”的功能（用于每天计算近一段时间的指标），故需要同步适配指标同义不同名的检测规则，将时间限定纳入到检测项范畴中

1.时间筛选优化，增加更多快捷键

• 功能介绍

  • 指标详情趋势概览、多维分析中增加更多时间筛选快捷操作，方便用户快速筛选某段时间的数据进行分析

2.时间周期引用详情补充预警规则的引用

• 功能介绍

  • 时间周期的引用详情中，除了指标定义可以引用时间周期，在指标预警配置中也可以引用时间周期，为了能更全面地统计时间周期被引用的信息，本次补充了指标预警的引用记录

3.模型字段支持合并表的场景

• 功能介绍

  • 模型设计时可以拖入多张表进行合并union，编辑模型时可以对多张表字段进行设置

4.维值筛选时支持显示前200个候选值，并可搜索

• 功能介绍

  • 指标定义数据筛选时，可以自动提供枚举值列表功用户选择，也可以搜索枚举值，方便快速配置筛选值

5.我收藏、订阅、创建的指标列表，以及筛选条件，得到的指标列表数和左侧目录需要同步一致

• 功能介绍

  • 本次优化后，首页用户切换不同tab，设置不同筛选条件，最终得到的指标列表数量始终和左侧目录树统计的指标数量保持一致。

6.数据血缘中区分报告和表格的类型icon

• 功能介绍

  • 之前报告和表格icon一样，本次优化后会进行区分

7.折线图改为曲线图，和图表保持一致

• 功能介绍

  • 本次优化后图表名称和显示保持一致，折线图改为曲线图，和图表曲线保持一致

8.创建指标的文案增加样例

• 功能介绍

  • 新建指标时，增加不用类型指标的示例文案

维度建模

版本：v1.9.7

1.支持的数据源类型和顺序可配置

• 功能介绍

  • 维度建模中支持创建的模型类型支持配置

• 详细操作步骤

  • 在“数仓配置-默认项配置”模块中，可以按需勾选需要支持的模型数据源类型，并且可以设置顺序。后续在创建表、查看表列表时，都以这里配置的数据源类型和顺序为准

1.AutoETL相关优化

• 功能介绍

  • 系统支持批量导入，导入模板中可以配置建表信息、调度任务信息、依赖和调度信息等，本次优化后可以导入dim层表、设置任务调度yarn队列、自动生成SQL代码可写入分区日期变量等

版本：v1.9.8

1.支持批量变更主题域或分层

• 功能介绍

  • 支持批量选中表，并修改表的主题域或分层

• 详细操作步骤

  • 表列表批量选中，点击批量变更主题/分层，设置分层和主题即可

1.AutoETL支持离线开发调度任务新建或修改

• 功能介绍

  • 批量导入时，选择“批量建表&离线开发任务（DWD、DWS、DIM、ADS）”模板后，可以新建或者更新已有任务，导入后根据Excel内容来自动建表、建任务、生成ETL SQL代码等

2.表工单审批人筛选优化

• 功能介绍

  • 全部工单列表支持按照审批人、审批操作人来筛选工单，其中审批人表示有工单审批权限的人员；审批操作人表示工单实际操作审批的人员

3.导入dim表时，支持选择任一维度，且不限制主题域权限

• 功能介绍

  • 导入dim表时，支持用户在Excel中填写平台上已有的任一维度及维度所在主题域信息，不强制用户必须是域负责人

离线开发

版本：v7.14.2

1.【离线开发】支持回收站功能

• 功能介绍：
  • 离线开发被删除后，任务会进入回收站。回收站默认保留近30天删除的任务，到期后系统自动永久删除任务。
  • 在回收站内，支持还原任务。还原任务时，如原负责人或所属文件夹不存在，会提示用户重新选择负责人和所属文件夹。
  • 在回收站内，支持删除单个任务，以及清空回收站。在回收站删除任务后，任务永久删除，且无法恢复。
  • 在安全中心-安全审计-操作审计日志，支持查看在回收站删除任务和还原任务的事件日志。
  • 回收站权限说明：对于项目负责人/项目管理员，支持查看、删除、还原当前项目-集群下的所有任务；对于项目负责人/项目管理员以外的项目成员，支持查看、删除、还原当前项目-集群下本人作为负责人和删除人的任务。
  • 在“设置-项目配置-基础配置-回收站设置“模块，支持由项目负责人和管理员修改当前项目的回收站任务保留期限和配置删除提醒。开启提醒后，可在相应的时机向通知人发送提醒，避免任务被永久删除后无法恢复。

版本：v7.14.1

1.【离线开发+自助分析】支持执行Doris存储过程

• 功能介绍：
  • 离线开发的Doris节点和自助分析的Doris数据源，支持执行Doris存储过程。 不支持存储过程表和字段血缘。

1.【离线开发】离线同步节点相关交互优化

• 功能介绍：
  • 此前存在的问题是：用户在离线同步节点选择了无编辑权限的离线同步任务，保留离线开发任务时会由于无权限保存失败。以及离线开发任务提交上线时，如果用户没有引用的离线同步任务的提交权限，也会提交上线失败。
  • 故此版本进行了交互优化。在离线同步节点引用详情选择任务时，该用户无编辑权限的任务置灰不可选。在提交上线离线开发任务时，提交上线检测中会检测用户是否有传输任务的提交上线权限，无权限则检测不通过阻断提交。

任务运维中心

版本：v1.19.2

1.配合离线开发支持任务回收站功能的相关改造

版本：v1.19.1

1.任务列表支持快捷筛选已暂停任务和调度已失效的任务

1.任务/节点报警标题优化

• 功能介绍：
  • 原先运维的报警标题统一为“系统通知”，此次更新后，将包括任务执行异常报警通知、任务执行通知、质量监控异常通知三类标题，使告警内容更加清晰直观。

2.值班提醒方式改为非必填

• 功能介绍：
  • 值班提醒设置支持设置值班提醒开关，关闭后将不再发送值班提醒通知，若用户无轮班需求，每日值班，则可以关闭此开关，避免用户信息疲劳。

安全中心

版本：v4.1.6

1.支持StarRocks数据源数据脱敏的功能

• 功能介绍：
  • 在数据脱敏识别任务创建时，支持选择sr数据源类型，支持选择在数据源管理中登记好的sr数据源，包括登记方式为选择"引用平台级资源"的sr，支持创建识别任务，查看识别状态，查看识别结果等功能。

版本：v4.1.5

1.支持StarRocks数据源下的库、表权限申请、查看、权限治理等功能

• 功能介绍：
  • 在平台管理-基础配置-资源管理中，登记成功的Starrocks数据源且填写了ranger service的资源，该资源在项目组"数据源管理"中登记SR数据源时，若引用该平台级资源，则对应的SR下的库、表级权限支持在安全中心管控。
  • 支持在权限中心对sr库、表权限进行申请，支持查看我的申请、我的权限；
  • 支持在数据授权中，对sr表进行批量授权操作；
  • 支持在权限治理中对sr库、表权限进行治理。

数据资产地图

版本：v2.19.10

1.资产目录增加表数量统计

• 功能介绍

  • 首页和资产目录模块均增加各级目录上挂载的表数量统计

• 详细操作步骤

  • 点击查看首页或资产目录页面即可

2.字段血缘连线上支持展示直接映射、间接映射的血缘

• 功能介绍

  • 字段血缘我们根据字段使用方式分为“直接映射”血缘和“间接映射”血缘，其中“直接映射”血缘表示字段直接从上游表获取，不经过任何计算，“间接映射”血缘表示字段经过上游表字段的加工处理而来（例如SUM/AVG/COUNT/MIN/MAX以及UDF等SQL可解析的函数）。为了在字段血缘图上区分这两种血缘，在血缘连线上增加了标识进行区分。

• 详细操作步骤

  • 进入表详情查看字段血缘图即可

3.批量编辑支持归属主题域目录

• 功能介绍

  • 元数据列表页支持批量编辑时，将元数据挂载到数仓的主题域目录下，主题域目录列表拉取自维度建模模块中已定义的主题域目录列表，方便用户基于已有的主题域来快速挂载元数据表

• 详细操作步骤

  • 元数据列表页批量勾选需要挂载的表，点击“批量操作”按钮后，选择对应主题域目录即可

4.数仓表导引支持Doris类型，类型来源取自维度建模的配置

• 功能介绍

  • 数仓表导引模块中支持多种数据源类型，数据源类型和展示顺序均取自维度建模中的配置，方便用户灵活配置需要支持的类型和顺序。

• 详细操作步骤

  • 在地图中点击数仓表导引模块即可查看支持的类型和顺序

5.支持PG、GP数据预览

• 功能介绍

  • 在PG、GP表详情页面可预览数据，前提是有该表的读权限

• 详细操作步骤

  • 查看PG、GP表详情数据预览页面即可

1.元数据采集库名搜索优化

• 功能介绍

  • 元数据采集任务配置时，之前搜索库名会把关键字命中的项目下面的所有库带出来，造成干扰。本次优化后仅对库名进行关键字搜索匹配。

• 详细操作步骤

  • 在元数据采集模块创建元数据采集任务，在任务配置的第二步中搜索库名选择符合要求的库即可

2.血缘节点浮框中增加表描述信息

• 功能介绍

  • 在Hive表血缘中，鼠标悬浮在某个表上会展示表的基本信息，本次增加表描述的展示

• 详细操作步骤

  • 查看表血缘，鼠标放在对应表节点上即可。若表描述信息未刷新，也可以手工点击一下刷新。

版本：v3.0.0

1.支持资产打标、基于标签找数据

• 功能介绍

  • 标签是用来标识数据的业务含义，可以帮助用户对资产进行分类和描述，以便于检索。本次支持对表添加标签，基于标签筛选找表，具体功能包括：

    • 地图首页搜索结果列表的左侧，增加标签筛选条件

    • 表详情增加标签添加功能，可查看表上已经添加的标签

    • 资产目录列表，支持按标签筛选表，展示表已有的标签信息

    • 专辑详情页，支持按照标签筛选表，展示表已有的标签信息

    • 安全中心操作审计中，支持记录用户对哪个表新增或删除了什么标签

• 详细操作步骤

  • 进入表详情，在业务信息中查看或添加表标签即可

• 注意事项

  • 默认项目组负责人和管理员可以给自己所负责的项目组下的表打标签；项目负责人和管理员可以给自己所负责的项目下的表打标签；表技术或业务负责人可以给自己名下的表打标签。其他用户可以在安全中心授权，可授权所有用户、指定用户、指定角色可以给表打标签

1.脱敏标签展示UI优化

• 功能介绍

  • 原来字段列表和数据预览处字段的脱敏标签和敏感类型标签展示不明显，本次优化了图标样式，方便用户一目了然、直观清晰地看到字段脱敏和敏感信息

2.我的收藏列表表名展示优化

• 功能介绍

  • 我收藏、订阅、浏览、负责的表列表页，增加表名换行展示和复制功能，方便用户查看和复制表名

3.查看字段血缘跳转页面优化

• 功能介绍

  • Hive表详情字段列表页查看某个字段血缘，支持自动跳转到该字段的血缘图页面

4.表详情点击自助分析后，SQL查询语句limit 0 优化为limit 10

• 功能介绍

  • Hive表详情点击自助分析操作后，系统会自动复制Select语句，本次优化后将limit 0 改为limit 10

5.StarRocks安全等级打通安全中心

• 功能介绍

  • 本次将元数据治理的StarRocks安全等级信息同步至安全中心，保证平台整体使用同一套StarRocks安全等级信息

数据质量中心

版本：3.14.1

1.表级模板规则支持同比波动率，新建规则模板基准值支持N天前同期值

• 功能介绍：
  • 新增系统规则模板，支持表级模板比对1天/7天/30天前同比波动率；同时也支持用户新建规则模板支持N天前同期值，适用于小时调度的监控任务比对N天前同期值，例如昨日10点的数据与一周前10点的数据进行比对。

2.质量监控任务独立调度支持crontab调度

• 功能介绍：
  • 质量监控任务支持crontab调度和Quartz Cron调度，用户可以设置监控任务在特定时间段内不调度。

1.数据比对功能权限接入安全中心

• 功能介绍：
  • 操作权限包括运行、编辑和删除，支持为不同角色用户对项目下的数据比对任务设置不同的权限。

2.数据比对设置规则时支持按照字段名称对源表字段进行搜索

版本：3.14.0

1.规则模板支持批量配置监控规则

• 功能介绍：
  • 表级模板与字段级模板支持批量配置监控规则，用户可以基于某一规则模板，批量选择表/字段，完成质量规则的创建。

2.数据比对支持SQL模式

• 功能介绍：
  • 数据比对原先支持选择两张已持久化到数据库中的表进行比对，此次新增SQL模式，即比对的对象支持两段SQl产出的虚拟数据集，如果需要对比多个日期分区，以及进行一些过滤、聚合、Join等，或是更改表结构的数据变动（如增加字段、更改字段类型等）用 SQL 模式对比将会更方便。

1.模板规则支持添加过滤条件

• 功能介绍：
  • 字段级/表级别模板规则支持添加过滤条件。

1.修复了部分质量报告无法接收的问题。

版本：3.13.0

1.新增质量规则表

• 功能介绍：
  • 原先规则列表和规则模板归入“规则管理”一级菜单，新增“规则对象表”二级菜单，支持从表的视角查看所关联的所有质量监控、质量规则和质量报告。

2.质量规则支持复制

• 功能介绍：
  • 质量监控详情页的规则列表中，支持复制规则到当前监控任务中，帮助用户提高质量监控创建效率。

1.修复了告警组中的外部用户无法接收告警通知的问题。

数据服务

版本：v1.12.5

1.新建API支持SM4+AES传输加密算法，支持选择SM4用户在API调用时的数据加密。

2.新建API支持Doris 2.1版本，向导和脚本模式下适配Doris 2.1版本。

1.修复api doris数据源测试时sql=null报错问题；

2.文案优化，新建API的SQL模式下，注意事项中关于Mybatis语法示例进行提示优化。

版本：v1.12.4

1.支持超级租户功能，在数据地图侧查看API详情时，若是属于超级租户下的成员，不拦截该超级租户，支持查看API详情等内容；
2.脚本模式下血缘逻辑优化，如果SQL语句中的表有库名，则血缘中包含该库名，若SQL语句中未包含库名，则支持使用配置的数据库名称。