数据传输

版本：v3.35.0

新增功能

1.【实时】实时传输任务内置AES加密和AES解密算法，可加密或解密来源字段，支持通过自定义表达式方式引用；

  • 功能介绍：
    • 当数据去向为非kafka时，第三步字段映射，当选择自定义表达式时，下拉框支持选择AES加密或AES解密算法使用；
    • 当数据来源为非kafka，去向为kafka时，第三步字段映射，新增"自定义表达式"功能按钮，支持在自定义表达式的文本框中选择并配置AES加密或AES解密算法使用。

2.【离线&实时】支持Doris数据表的读写权限管理。

  • 功能介绍：
    • 针对可以在安全中心管理读写权限的Doris数据表，数据传输在选择Doris作为来源或去向数据源时，会结合安全中心鉴权判断当前用户是否对Doris有读或写的权限。

3.【离线】Spark引擎下，通过页面形式或Excel上传方式批量创建离线同步任务的功能，数据去向新增支持Doris数据源类型。

  • 功能介绍：
    • 在Spark引擎下，通过页面形式批量创建离线同步任务时，数据去向支持选择Doris数据源类型，同时支持批量创建Doris表；
    • 在Spark引擎下，通过Excel上传的方式批量创建离线同步任务时，新增sheet页"数据去向为Doris"，支持批量创建数据去向为Doris的离线同步任务。

4.【实时】实时同步任务，操作列增加查看选项，支持查看运行配置和报警记录等。

  • 功能介绍：
    • 实时同步任务，在操作列新增查看选项，查看页面，包括任务的基本信息、运行配置、报警记录以及来源表结构变更信息的内容。

5.【离线&数据导入】离线同步任务，当数据去向为Doris且快速创建Doris表时，Doris表配置增强。

  • 功能介绍：
    • 离线同步任务，当数据去向为Doris，且快速建表的弹窗，针对Doris的配置增强细化；
    • 若Doris为分区表，支持选择Doris的分区类型，支持Range分区和List分区；
    • 在Range分区下，支持手动分区、动态分区和自动分区；
    • 在List分区下，支持手动分区和自动分区。
    • 且若表为主键表或聚合表时，限制分桶列只能选择Key列。

6.【配置管理】离线同步任务的快速建表配置中，新增支持Doris表属性模板配置。

  • 功能介绍：
    • 配置管理中，针对离线同步任务，快速创建表配置中，新增Doris表属性模板配置，支持自定义Doris表的属性内容。

7.【离线】离线同步任务，对于来源为JDBC类的数据源类型，特殊字符替换支持多行。

  • 功能介绍：
    • 当离线同步任务的来源为JDBC类的数据源类型时，特殊字符替换开启后，由单行新增至多添加5行。
功能优化

  1. 【离线】离线同步任务，当数据来源为API时，Headers和Params参数在保存时自动校验前后空格问题，默认会去掉前后空格后保存；

  2. 【离线】离线同步任务，当数据来源为API时，若在登记API数据源侧有前置请求，则优化UDF调用逻辑，修复因调用链路过长导致超时的问题。

指标系统

版本：v2.9.0

功能优化

1.提供接口支持同步已发布的指标到BI指标管理模块

  • 功能介绍

    • 为了能够快捷地将ED指标系统的已发布指标同步到BI指标管理模块中，方便进行后续的指标Agent问数。本次提供了相关接口支持一键同步已发布的指标到BI指标管理中。若ED指标系统下线指标，也会校验该指标是否在BI中有下游报告或图谱引用，若有，则需要前往先解除报告或图谱的引用才可下线该指标

版本：v2.9.1

功能优化

1.适配地图高低版，参数类型由布尔类型改为字符串

  • 功能介绍

    • 纯技术层面参数改造，用户无需关心

2.新建指标时，点击其他菜单，增加退出的二次确认框

  • 功能介绍

    • 用户体验优化

维度建模

版本：v2.0.3

新增功能

1.支持SQL预览和执行检测

  • 功能介绍

    • 为了提高建表工单执行SQL的准确性，本次增加了SQL预览和执行检测功能

  • 操作步骤

    • 第一步：在数据源配置页面开启SQL预览和检测，然后配置每个数据源对应的测试库

    • 第二步：在建表工单页面底部点击“SQL预览和检测”即可查看SQL和检测结果

功能优化

1.适配地图高级版改造，隐藏表资产目录&关闭元数据注册接口调用

  • 功能介绍

    • 若地图是低级版，则模型相关信息同步隐藏

2.字段类型无长度限制和标准一致

  • 功能介绍

    • 数据标准模块中数据元如果是无长度限制，则维度建模字段类型也允许无长度限制

3.支持Oracle、达梦表名字母大写

  • 功能介绍

    • 建表工单Oracle、达梦表名支持字母大写

离线开发&自助分析

版本：v7.15.2

新增功能

1.【离线开发】转交任务支持设置是否审批

  • 功能介绍：
    • 在离线开发-设置-项目配置-基础配置-转交任务设置中，支持选择是否开启转交任务审批。开关对当前项目下所有集群生效，用于控制在离线开发-批量操作 和 任务运维中心-任务列表 转交任务时是否需要审批。开关如果开启，所有任务转交均需要提交审批，审批通过后才可转交。
    • 审批流程默认为一级审批，审批人为新负责人，支持在流程协作与通知中心修改审批流程。
    • 转交任务发起审批工单时，会校验新负责人是否拥有任务的全部权限，如否的话会在转交任务结果中做出提醒，但不会阻断发起审批工单。同时，在转交任务结果-原因列，支持点击快捷前往查看工单。
功能优化

1.【离线开发+自助分析】针对安全中心管控数据权限的Doris数据源，支持对接Doris表权限

  • 功能介绍：
    • 针对安全中心管控数据权限的Doris数据源（即在平台管理登记且配置了Ranger Service信息的平台级Doris数据源），离线开发和自助分析对接了Doris表权限。
    • 离线开发和自助分析的Doris库表显示以及表详情弹窗中的权限展示，会对接Doris表权限。离线开发和自助分析的Doris库表显示，当项目组中心-配置管理-项目内库表展示开关关闭时，仅展示用户有权限的库表；开关开启时，展示全部库表。

2.【公共资源】参数组、资源组增加“管理员”

  • 功能介绍：
    • 参数组、资源组增加“管理员”配置项，管理员同负责人，拥有该参数组/资源组的所有操作权限。
    • 参数组发布中心发布、参数组导入时，会判断接收方/导入方是否存在管理员对应的用户账号，如不存在则实际导入时将不导入该账号。

3.【离线开发】节点的输出参数支持自定义参数名称

  • 功能介绍：
    • 节点的输出参数的“参数名称”支持自定义，以解决此前系统内置的outputs类参数无法通过参数名表达参数业务含义的问题。注意：输出参数一经引用，不可重命名。
问题修复

1.【离线开发】解决同一任务多节点tab的运行按钮的运行状态展示未隔离的问题

任务运维中心

版本：v1.19.9

新增功能

1.转交任务支持设置是否审批

  • 功能介绍：
    • 在离线开发-设置-项目配置-基础配置-转交任务设置中，支持选择是否开启转交任务审批。开关对当前项目下所有集群生效，用于控制在离线开发-批量操作 和 任务运维中心-任务列表 转交任务时是否需要审批。开关如果开启，所有任务转交均需要提交审批，审批通过后才可转交。
    • 审批流程默认为一级审批，审批人为新负责人，支持在流程协作与通知中心修改审批流程。
    • 转交任务发起审批工单时，会校验新负责人是否拥有任务的全部权限，如否的话会在转交任务结果中做出提醒，但不会阻断发起审批工单。同时，在转交任务结果-原因列，支持点击快捷前往查看工单。

实时计算

版本：v4.15.0

新增功能

1.【实时开发】新建流表，支持Elasticsearch类型作为维表。

  • 功能介绍：
    • 实时开发-数仓管理模块，新建流表时，若数据源类型选择Elasticsearch时，表可用类型支持选择作为维表。

数据服务

版本：v1.13.0

新增功能

1.支持Doris数据表的读权限管理。

  • 功能介绍
    • 针对可以在安全中心管理读权限的Doris数据表，数据服务在选择Doris表生成API时，会结合安全中心鉴权判断当前用户是否对Doris表有读权限，若无读权限，将无法创建API。

安全中心

版本：v4.2.1

新增功能

1.支持iceberg数据权限申请和授权

  • 功能介绍

    • 数据权限申请和授权，在Hive类型下支持适配iceberg，使用流程同Hive

  • 注意事项

    • iceberg支持版本为1.3、1.8

2.纯文本模式向分类中添加资源

  • 功能介绍

    • 为了能一次性批量将库表列添加到指定分类中，增加了文本方式导入一批资源到分类下

3.纯文本模式批量申请权限

  • 功能介绍

    • 支持一次性批量添加库表，进行权限申请，提升申请效率
功能优化

1.新建数据识别任务时，支持根据所选择的“敏感类型”决定“识别行数”是否必填

  • 功能介绍

    • 之前新建数据识别任务时，“识别行数”是必填项，但是敏感类型的识别内容可能是基于字段名称/字段描述来进行识别，此时不涉及字段内容和数据行数的要求，所以识别行数必填就不合适。本次优化后，在新建识别任务时，只要敏感类型存在字段名称/字段描述，则识别行数可以为非必填

2.数据识别结果中，支持查询字段级别的匹配度

  • 功能介绍

    • 数据识别任务运行完成后，在查看识别结果时，增加字段匹配行数百分比，方便用户判断是否接受确认本次定级、定敏感类型的结果。“匹配行数百分比”的计算逻辑是：

      • 匹配行数百分比=实际识别命中该敏感类型正则表达式的行数 / 识别任务中已配置的识别行数 *100%

3.敏感类型页面性能优化

  • 功能介绍

    • 敏感类型较多时，页面性能优化

4.支持不同安全分类走不同的审批流

  • 功能介绍

    • 支持按照不同安全分类设计不同的审批链路

5.修改表和字段的安全分类，支持记录操作审计日志

  • 功能介绍

    • 操作审计日志中可查看表和字段的安全分类变更记录

数据资产地图

版本：v3.0.7

新增功能

1.地图对接安全中心表和字段的安全分类信息

  • 功能介绍

    • 在【安全中心-数据分类】模块中，支持在数据分类目录中添加表或字段，然后在地图对应的表详情中即可查看表的安全分类、字段的安全分类，例如在”客户信息/个人信息“分类下添加表customer_info，则在表customer_info详情中即可查看所属的安全分类信息

    • 在【数据资产地图-默认项配置】模块中，增加了资产目录来源为”安全分类“，以便在资产目录菜单、首页资产目录导航中可查看安全分类目录信息及其挂载的表数量

    • 在【安全中心-安全审计-操作审计日志】模块中，支持记录编辑表或字段安全分类信息的操作

    • 其他优化

      • 资产目录增加表范围设置，原来仅展示在元数据治理中已发布的表，本次增加了选项”只要挂载了目录均可在资产目录中展示“

      • 安全中心用户/角色功能权限时，增加授权点，可以授权编辑表或字段的安全等级、编辑表或字段的安全分类功能

  • 注意事项

    • 本次对接的安全分类目录指【安全中心-数据分类】模块中的普通分类目录，不包括安全管理分类
功能优化

1.地图支持展示第三方平台通过接口导入的表级血缘信息

  • 功能介绍

    • 平台提供标准OpenAPI，外部系统的血缘可以通过OpenAPI形式导入平台，在地图表详情中可以查看对应血缘信息

2.支持查看Doris物化视图的DDL

  • 功能介绍

    • Doris物化视图详情页，可以查看DDL信息

3.点击某菜单，不要自动展开其他已折叠的菜单

  • 功能介绍

    • 体验优化

4.对接BI指标管理，在指标血缘中支持跳转到地图查看对应的字段血缘

  • 功能介绍

    • 在BI指标管理中，指标详情页查看指标血缘时，可以查看上游来自哪个模型字段，点击具体字段可跳转到地图表详情对应字段血缘图中，这样就能将数仓字段加工的血缘和后续指标血缘串联起来了

数据治理360

版本：v3.2.4

功能优化

1.小文件合并任务支持hive3

  • 功能介绍

    • 小文件合并任务支持hive3，技术性需求

2.数据治理360计算分析-调度任务-下载任务：“创建时间”字段，下载后要和页面展示一致

  • 功能介绍

    • 之前下载文件创建时间显示格式不友好，本次优化展示效果

3.项目治理页面扣分为“负数”，导出excel展示效果优化

  • 功能介绍

    • 之前下载文件展示为正数，理解有歧义，本次进行展示效果的优化

数据质量中心

版本：3.16.2

新增功能

1.数据比对任务支持周期调度。

  • 功能介绍：
    • 新建数据比对任务最后一步或在比对任务列表的操作列或数据比对任务详情页，均支持对比对任务设置调度；
    • 比对任务列表新增执行历史tab，用于集中展示设置调度后的定时比对任务产生的实例；
    • 对比对任务设置调度，支持配置调度类型、调度周期、调度日志以及指定执行队列等，支持对比对任务失败、成功或结果不一致发送通知；
    • 支持对已设置调度的任务，重新设置调度或取消调度操作；
    • 针对调度的比对任务产生的实例，支持筛选和查看运行结果、日志、详情等。

2.轻量化环境下适配Doris和Starrocks，相关功能进行兼容处理；

  • 功能介绍：
    • 针对Doris和Starrocks数据源类型创建的质量监控任务，在第三步支持配置规则合并执行；
    • 表级质量报告，针对doris和starrocks数据源类型，新增支持表负责人质量分排行、表负责人监控/规则配置排行；
    • 在创建数据质量监控任务时，针对Doris和Starrocks数据源类型，支持储存异常数据样本功能；

3.支持Doris数据表的读权限管理。

  • 功能介绍：
    • 针对可以在安全中心管理权限的Doris数据表，在新建/编辑数据质量监控任务、数据比对或数据探查任务时，均结合安全中心鉴权判断当前用户是否对Doris表有读或写权限；
    • 运行形态探查和数据比对任务时，若是创建人的权限执行，则也会结合安全中心鉴权判断用户是否对Doris表有权限；

流程协作与通知中心

版本：v2.6.9.1

新增功能

1.支持不同安全等级走不同的审批流

  • 功能介绍

    • 支持按照不同安全等级设计不同的审批链路

2.支持不同安全分类走不同的审批流

  • 功能介绍

    • 支持按照不同安全分类设计不同的审批链路
功能优化

1.离线开发和任务运维的转交任务支持对接流协事件管理

  • 功能介绍

    • 离线开发和任务运维转交任务对接流协事件管理后，就可在流协自定义审批流

2.查看工单详情时审批链路图展示优化

  • 功能介绍

    • 为了优化用户查看审批链路，增加自动布局按钮

控制台及项目中心(新)

版本：v1.17.0

功能优化

1.【项目组中心】配置管理-项目内库表展示控制支持的数据源类型扩展

  • 功能说明：
    • 该开关控制的是：针对对接安全中心数据权限的数据源，在离线开发、自助分析的库表展示范围。此前，此开关仅支持平台内置的Hive数据源类型，此版本新增支持平台级登记且配置了Ranger Service信息的Doris数据源类型。