数据传输

版本：v3.33.0

新增功能
  1. 【离线】离线传输任务，Spark引擎下，数据去向为Oracle时支持快速建表功能；
  • 功能介绍：
    • Spark引擎下，离线传输任务，当数据去向为Oracle时，新增支持快速建表操作，支持填写表名称生成建表语句；
    • 配置管理中，针对离线同步任务快速建表功能，特殊字段类型映射规则新增支持配置数据去向为Oracle表的字段类型。
  1. 【离线】离线传输任务，Spark引擎下，数据来源和去向新增支持人大金仓KingbaseES类型；
  • 功能介绍：
    • 离线同步任务，spark引擎，数据来源和去向可选择人大金仓KingbaseES类型，适配版本为V009R001C002B0014和V008R006C008B0020。

  1. 【离线】离线传输任务的Maxcompute、Phoneix、RocketMQ数据源类型适配spark3.3.1版本；

  2. 【离线】离线传输任务，试运行时，若离线开发侧有开启离线同步专用队列功能，则试运行为配置的专用队列；

  • 功能介绍：
    • 离线开发的配置管理中，支持设置数据传输试运行的专用队列；
    • 若试运行配置了专用队列，则在数据传输侧，试运行离线同步任务时，执行队列将不支持选择，默认使用配置的专用队列；
    • 若配置了专用队列，同时试运行的任务中含有测试库的Hive类型，所需的测试队列为专用队列的镜像队列，不支持灵活选择。
  1. 【实时】新建实时同步任务，数据来源新增支持oceanbase类型，默认增量读取方式为oms，支持选择kafka topic；
  • 功能介绍：
    • 实时同步任务，数据来源新增支持Oceanbase类型。
功能优化

  1. 【离线】数据传输升级spark-doris-connector组件，使用最新版功能，优化老版兼容问题；

  2. 【离线】对接安全中心权限功能优化，修复选表无权限问题；

  3. 配置管理中的新建策略功能优化，选择hive数据源类型时，支持跨项目下的hive选择，同时优化跨集群的Hive名称展示问题；

  4. 问题修复，针对历史任务，编辑后页面出现数据源名称显示为数字的情况；

  5. 数据导入交互优化，导入新文件时，可选导入规则，涉及到联动字段时，支持展示并配置，去掉之前置灰的逻辑；

  6. 针对oracle到hive设置高级参数target.fileMergeNum后没有生效的问题修复；

  7. 【离线】交互优化，对于数据去向，涉及到preSQL和postSQL类型的数据源，统一放开条数至5条内容；

  8. 【离线】交互优化，自定义表达式输入框可调整长宽，支持Hover展示全部内容。

指标系统

版本：v2.8.18

功能优化

1.支持业务口径、业务口径负责人、指标域非必填

  • 功能介绍

    • 之前指标注册模板中，为了规范登记内容限制了业务口径、业务口径负责人、指标域必填，后来由于某些用户场景中需要简化模板填写要求，希望能设置为非必填，故本次优化后可以在指标注册模板中自定义业务口径、业务口径负责人、指标域是否需要必填，设置后在新建指标、导入指标时均生效

2.导入导出模板支持自定义列

  • 功能介绍

    • 之前导入导出模板的列是固定的，都是注册模板中已启用字段，但是针对一些非必填项、自动生成项其实用户可以不需要填写，例如指标标识、创建人、更新时间等。为了灵活配置用户导入导出内容，本次优化后支持导入导出列自定义，用户可以按需选择要导入导出的信息

3.指标标识中主题域的预设值展示优化

  • 功能介绍

    • 指标标识如果配置为自动生成，则会引用主题域标识进行拼接，但是若指标的主题域为空时会影响拼接结果，为了解决该问题平台增加了默认预设值，以便拼接生成指标标识

指标平台

版本：2.6.6.2

功能优化

1.单个或批量创建来自指标系统的指标，部分属性空时默认填充逻辑优化

  • 功能介绍

    • 由于指标系统中的指标业务口径、业务口径负责人、指标域信息非必填，所以可能存在为空的情况。此时指标平台单个或批量创建来自指标系统的指标，若业务口径负责人空，则默认填入为当前用户；若业务口径为空则用指标中文名称填充；若指标域空，则放到指标平台指标域默认目录下

维度建模

版本：v2.0.1

功能优化

1.GP建表支持ZSTD压缩类型

  • 功能介绍

    • 创建GP表时，建表属性配置中的表压缩算法、字段压缩算法支持ZSTD类型

2.修改表支持选择执行人

  • 功能介绍

    • 之前修改表时，默认仅支持按照申请人账号来执行改表操作，本次优化后在发起修改表工单时支持选择“执行人”

  • 注意事项

    • 当表没有分层，则申请人、审批人、项目账号都可选，默认为申请人

    • 当表有设置分层，则执行人选项的逻辑同建表工单，即：

      • 若没有开启项目账号建表，则可以选择申请人、审批人作为执行人

      • 若开启了项目账号建表，则可以选择项目账号作为执行人。

3.配合指标系统对模型引用指标进行优化

  • 功能介绍

    • 创建模型时，字段如果绑定了指标，则支持自动填充指标中文名称作为字段的中文名称和描述，自动填充指标英文名称作为字段名称，方便规范字段信息

离线开发&自助分析

版本：v7.14.8+v7.14.9

新增功能

1.【离线开发】代码搜索支持AND/OR多条件组合匹配

  • 功能介绍：
    • 代码搜索框中，支持输入关键词、AND、OR、(、) 。输入内容后，请键入Enter生成标签，搜索框最多支持2048个字符。
    • 逻辑优先级上，AND默认高于OR，并支持通过()来调整优先级。
    • 示例：A AND B OR C，指代码【包含A和B 或 包含C 】；A AND (B OR C)，指代码【包含A 且 包含B或C】。
功能优化

1.【离线开发】“离线同步专用队列”拆分应用场景

  • 功能介绍：
    • 此前，如设置离线同步专用队列，则在【数据传输-离线同步任务-试运行、离线开发-离线同步节点-开发模式运行、离线开发-离线同步节点-线上调度、任务运维中心-离线同步节点-重跑、补数据】下均会使用该队列。考虑到离线同步任务在试运行、调度等不同场景下，使用队列可能存在差异，故支持区分应用场景设置离线同步专用队列。
    • 此处调整不影响历史任务，如此前已设置离线同步专用队列，则4处应用场景均会置为该队列
    • 注意：此处的离线同步专用队列不控制数据传输-数据导入任务的执行队列。

2、【离线开发】代码搜索-下载搜索结果，针对节点代码超出Excel单元格长度上限的情况增加截断策略

  • 功能介绍：
    • 此前，如下载搜索结果中存在节点的SQL代码字符长度超出Excel单元格长度上限32767个字符，则下载文件内容会为空。针对此问题，此版本增加了处置策略，节点代码如超出Excel单元格长度上限，将作截断处理，可点击任务链接前往查看节点完整代码。

安全中心

版本：v4.1.9.1

新增功能
  1. 批量授权支持Doris表权限；

版本：v4.1.9

新增功能
  1. 权限申请支持Doris表级别权限管理；
功能优化

  1. 支持Doris表级别数据审计；

  2. 主动授权审计信息功能优化，补充授权的具体policy信息；

数据资产地图

版本：v3.0.4

新增功能

1.支持ES搜索和查看，展示ES的传输血缘

  • 功能介绍

    • 支持用户创建元数据采集任务来采集ES索引和mapping结构信息

    • 支持用户在首页搜索ES索引，查看索引详情页元数据信息

    • 手工添加上下游血缘时，支持添加ES类型

功能优化

1.支持展示表血缘节点的上下游数量

  • 功能介绍

    • 在表血缘图中，支持展示上下游节点的血缘数量，避免用户一个个点击后才可知晓上游或下游有没有节点、有多少个节点，该功能可提前计算好每层上下游血缘数量，提升用户体验

版本：v3.0.5

新增功能

1.表血缘变更通知对象支持选择下游表的数据BA

  • 功能介绍

    • 在此之前当Hive表信息有变更时，产品支持通过血缘获取下游表的技术负责人名单，并将上游表变更内容以邮件等方式通知给下游表的技术负责人。但是某些特殊场景下（例如某金融行业客户底座是CDP，和平台底座未打通，无HMS Alter权限）Hive表技术负责人信息无法更新维护，故此时血缘变更通知功能无法使用。为了解决该场景，血缘变更通知对象新增灵活配置的功能，默认还是通知给表技术负责人，但是对于特殊场景的用户可以在【配置管理-默认项配置】模块中设置血缘变更通知对象为表的其他角色如数据BA/模型负责人等（对象名称可以自定义），这样一来，只要下游表有维护表对应角色，就能通知上游表的变更信息。但是需要注意的是，表的数据BA/模型负责人信息需要在元数据管理中设置并发布生效。

  • 操作步骤

    • 第一步：在【配置管理-默认项配置】模块中，可设置表变更血缘下游通知对象为表技术负责人或模型负责人

    • 第二步：在表详情页数据血缘模块中，发起变更通知，系统将自动计算下游表的表技术负责人或模型负责人名单，用于接收表的变更内容

  • 注意事项

    • Hive表的数据BA/模型负责人字段需要在元数据注册模块中启用，元数据表中有设置表的数据BA/模型负责人的人员信息并且元数据已发布，才可在血缘变更通知功能中准确获取下游表的数据BA/模型负责人信息并通知成功

2.表使用说明编辑权限对接安全中心

  • 功能介绍

    • 在此之前Hive表的使用说明仅项目负责人/管理员、表技术负责人可以编辑，本次新增授权功能，在安全中心授权的角色/用户也可以编辑表的使用说明信息

  • 操作步骤

    • 进入安全中心，授予某角色/用户表的使用说明编辑权限。然后进入某张Hive表，即可编辑表的使用说明信息

  • 注意事项

    • Iceberg/Hudi表流程同上面的Hive表，不做赘述
功能优化

1.支持高级版、基础版套餐选择

  • 功能介绍

    • 为了能适配不同客户的使用场景，数据资产地图提供了高级版、基础版的套餐，其中高级版具备全部功能，基础版仅具体基础功能，详细套餐功能可联系商务售前进行咨询

2.表使用说明的快速模板优化

  • 功能介绍

    • 在此之前编辑使用说明时，需要点击快速模板才可编辑内容，本次做了交互优化，点击编辑后默认可基于模板进行编辑，减少用户操作

3.搜索推荐列表交互一致性优化

  • 功能介绍

    • 在此之前，地图首页和表详情页的搜索下拉推荐列表UI存在不一致问题，本次做了样式的统一优化

控制台及项目中心(新)

版本：v1.16.7

新增功能

1.【新增hana数据源版本】登记数据源时，hana类型新增版本字段

  • 功能说明：
    • 对于历史数据源，默认版本为之前系统的默认版本2.3.62；
    • 新增版本字段，并额外支持2.20.17版本。