数据传输

版本：v3.17.0

新增功能

1.【离线】去向为Iceberg时支持快速创建表

  • 功能介绍：
    • 离线同步任务数据去向为Iceberg时，支持快速新建Iceberg表。
    • 去向表的字段名称默认与来源表字段名称保持一致，去向表的字段类型默认映射来源表的字段类型，字段类型映射规则可在数据传输-配置管理-快速创建表配置-字段类型映射规则进行自定义配置。
  • 功能使用注意事项
    • 仅来源为关系型数据库和Maxcompute时去向支持快速新建Iceberg表。

2.【实时】来源为关系型数据库、去向为除Kafka外的数据源时，支持批量转换来源表字段

  • 功能介绍：
    • 来源为关系型数据库、去向为除Kafka外的数据源时，支持批量转换字段。使用方式是批量勾选来源表字段（可跨页勾选），并填写自定义表达式，会根据填写的自定义表达式对选择的来源表字段批量转换为自定义表达式。
    • 自定义表达式支持填写Flink函数。支持的内置变量为${source_column}和${target_column}，分别表示来源表字段名称和去向表字段名称。
  • 功能使用注意事项
    • 系统预置了去除前后空格、字段类型转换、空值替换等常用的自定义表达式，也支持自定义输入自定义表达式。
    • 格式：表达式 as 列名。如：TRIM(${source_column}) as ${target_column}
功能优化

1.【离线】StarRocks适配3.2版本

  • 功能介绍：
    • StarRocks适配3.2版本，“源系统账号映射”中账号认证方式支持账号密码认证和LDAP认证

2.【离线】Clickzetta驱动替换，兼容http协议

数据标准

版本：v2.1.7

新增功能

1.支持DDM存量标准导入平台，增量标准同步到DDM

  • 功能介绍

    • 平台支持对接DDM建模工具，支持将平台上的标准数据元、标准字典、词根同步到DDM中

  • 注意事项

    • 该功能前提是平台对接了DDM，若没有对接DDM则不支持该功能

    • 手工同步标准到DDM的操作，暂仅支持项目组负责人和项目组管理员

模型设计中心

版本：v1.9.1

新增功能

1.模型设计中心支持GaussDB

  • 功能介绍

    • 模型设计中心支持创建、编辑GaussDB表，包括GaussDB表属性、字段属性定义等

版本：v1.9.0

新增功能

1.新建表和地图的资产目录打通

  • 功能介绍

    • 模型设计中心在建表时，增加设置表所归属的资产目录信息，且该资产目录信息和元数据管理中的保持一致

2.支持StarRocks建模

  • 功能介绍

    • 模型设计中心支持创建、编辑StarRocks表，包括StarRocks表属性、字段属性定义等
功能优化

1.新建和导入模板增加元数据中的“备注”字段

  • 功能介绍

    • 模型设计中心建表时，增加填写表备注、字段备注信息

关系建模

版本：v1.0.0

新增功能

1.支持同步和展示模型列表

  • 功能介绍

    • 关系建模是平台新增的一个独立子产品，该版本是首个版本。关系建模模块主要是对接DataBlau公司的DDM建模工具，支持将DDM模型库中的逻辑模型和物理模型同步到中台上进行统一管理。平台支持展示和查看DDM同步过来的模型列表、模型详情等。

  • 注意事项

    • 在使用前需要确认企业已经部署了DDM，并开启了关系建模子产品。

2.支持展示模型详情基本信息

  • 功能介绍

    • 从DDM建模工具中同步到中台的模型，支持查看模型详情页，包括模型基本信息、模型下的表或实体列表、模型下实体表的ER关系、模型的历史版本等。

  • 注意事项

    • 需要确认企业已经部署了DDM，并开启了关系建模子产品。

3.支持设置和查看L1-L3主题域分组、主题域、业务对象

  • 功能介绍

    • 在「业务对象管理」模块中，支持新建、编辑、删除主题域分组/主题域/业务对象，可查看所有业务对象列表，或者按照主题域分组/主题域目录筛选对应的业务对象，支持设置业务对象上线或者下线。

4.业务对象支持关联逻辑实体

  • 功能介绍

    • 支持给指定的业务对象绑定逻辑实体，可在业务对象详情中查看所有已绑定的实体列表信息

5.支持OpenAPI

  • 功能介绍

    • 新增OpenAPI，可查看主题域分组/主题域/业务对象目录树、查看业务对象下的实体列表等，详情可查看OpenAPI文档

6.物理模型表支持物化

  • 功能介绍

    • 从DDM同步到中台的物理模型，支持将其设计的表进行物化，物化类型支持Hive、MySQL、Oracle、Greenplum。

离线开发&自助分析

版本：v7.7.0

新增功能

1.离线开发的嵌套流节点支持动态循环执行

  • 功能介绍：
    • 嵌套流节点支持设置循环执行，当前版本新增了基于上游输出参数，每次执行时可动态确定执行次数的功能。
    • 场景举例：某任务每天调度时，需要基于当日生成的日期，动态执行n次，比如当日生成了2024-06-08、2024-06-10、2024-06-11等日期，需要某个任务按照这3个日期分别作为参数传入，并执行3次，则可以通过如下方式实现：
      • 1）多节点任务中，拖入SQL节点（或其它支持输出参数的节点均可），编写获取动态日期的SQL语句，并设置输出参数；
      • 2）SQL节点下游增加嵌套流节点，配置引用的任务，并设置循环执行，引用SQL节点的输出参数，并按照动态执行的参数设置规则，设置参数；
    • 更多使用细节，可查看嵌套流节点中的说明。
功能优化

1.离线开发调度设置时增加开发和线上模式的调度信息展示

  • 功能介绍：

    • 离线开发调度设置中，支持同时显示开发和线上模式的调度信息。

  • 功能详细使用步骤：

    • a.功能入口：任务开发模式-调度设置-任务和节点设置依赖

2.优化离线开发的批量操作页面

  • 功能介绍：

    • 当前版本对离线开发任务的批量操作页面进行了优化，支持点击任务名称跳转离线开发的任务编辑页面，增加任务路径、任务已修改未提交的标记显示。

  • 功能详细使用步骤：

    • a.功能入口：离线开发左上角“批量操作”入口，进入后可查看批量操作页面（当前仅项目负责人和管理员可进入）

3.离线开发任务提交上线锁定时支持查看调度设置和报警设置

  • 功能介绍：
    • 离线开发任务提交上线支持工单审批，此次优化了逻辑，针对任务审批被锁定时，可查看调度设置和报警设置。

版本：v7.6.2

新增功能

1.离线开发SQL节点的Kyuubi支持多集群

  • 功能介绍：
    • SQL节点新增Kyuubi运行方式的集群选择功能，其中集群目前仅支持后台配置。
    • 离线开发配置中，SQL节点默认设置新增了Kyuubi集群模式设置。

2.自助分析新增StarRocks数据源

  • 功能介绍：
    • 自助分析支持使用StarRocks数据源直接进行数据查询。

3.自助分析的StarRocks数据源支持查看存储过程信息

  • 功能介绍：
    • 自助分析库表信息选择StarRocks的数据源、库后，如果库下存在存储过程，则支持展示存储过程信息，并支持复制存储过程名称和查看存储过程
功能优化

1.自助分析Query的数据源切换优化交互样式

  • 功能介绍：
    • 自助分析Query的数据源切换最多有4项，导致顶部挤压，因此调整为下拉弹框设置的方式。

实时计算

版本：v4.5.0

新增功能

1.【实时开发】SQL任务和JAR任务支持Flink-1.18引擎版本

  • 功能介绍：
    • SQL任务和JAR任务支持Flink-1.18引擎版本
  • 功能使用注意事项
    • 针对SQL任务，Flink-1.18引擎版本暂仅支持以下数据源类型：Kafka、Pulsar、RocketMQ、MySQL、Oracle、Elasticsearch、Kudu、HBase。
    • Flink1.18引擎版本暂不支持脏数据管理功能，OpenAPI相关功能暂未更新。
功能优化

1.【实时开发】开发管理-实时平台管理-项目-集群初始化页，队列设置优化

  • 功能介绍：
    • 当选择的项目-集群的资源实例是中台托管的yarn集群时，支持下拉选择队列或手动输入队列名称，可选的队列范围为：1）当前项目-集群注册的yarn队列+当前集群下其他项目授权给当前项目使用的yarn队列，且 2）队列适用场景包含实时计算。
    • 当选择的项目-集群的资源实例不是中台托管的yarn集群时，仍需手动输入队列名称。

2.修复“Swagger api 未授权方案”的安全漏洞

安全中心

版本：v4.0.8

功能优化

1.数据识别支持多数据源

  • 功能介绍：
    • 数据识别任务新增StarRocks数据源支持。

2.数据审计支持多数据源

  • 功能介绍：
    • 数据审计新增StarRocks数据源支持。

数据质量中心

版本：v3.8.4

功能优化

1.支持StarRocks

  • 功能介绍

    • 质量中心支持StarRocks账号&LDAP两种方式执行实例

数据资产地图

版本：v2.19.2

功能优化

1.元数据注册中表名和字段名规范限制放开

  • 功能介绍

    • 多个用户反馈存量元数据由于表命名不规范，导致无法导入平台。为了灵活支持这类情况，现将元数据格式校验放宽，允许例如下划线结尾的表名可导入平台。

2.元数据采集支持iceberg

  • 功能介绍

    • 之前元数据采集时不支持选择Iceberg表，本次优化后将Iceberg作为一种特殊hive表，放开供用户采集。

版本：v2.19.1

新增功能

1.支持统计、搜索、查看业务对象

  • 功能介绍

    • 平台新增“关系建模”的子产品，支持管理业务对象，其上线的业务对象信息可同步在数据资产地图呈现。数据资产地图支持统计、搜索、浏览业务对象信息，方便用户了解公司的业务对象分布情况。具体功能包括：

      • 首页支持统计该项目组下所有已上线的业务对象数量
      • 首页支持搜索该项目组下所有已上线的业务对象，跳转查看业务对象详情信息
      • 资产目录模块支持按照主题域分组/主题域的分类目录来浏览筛选业务对象

  • 注意事项

    • 所有涉及业务对象的功能，都依赖于关系建模模块，如果企业没有开启关系建模模块，则不提供该功能

2.元数据治理，支持关联逻辑实体和逻辑实体属性，包括注册模板、导入导出等

  • 功能介绍

    • 在元数据治理时，支持用户给表关联逻辑实体，给表的字段关联逻辑实体属性信息

  • 注意事项

    • 所有涉及逻辑实体和属性的功能，都依赖于关系建模模块，如果企业没有开启关系建模模块，则不提供该功能

3.支持StarRocks元数据采集、注册、治理、发布、搜索、表血缘等

  • 功能介绍

    • 数据资产地图新增适配StarRocks表，具体功能包括：

      • 元数据采集、注册、治理、发布流程支持StarRocks表
      • 元数据导入导出支持StarRocks表
      • 地图表搜索、表详情、表血缘支持StarRocks表
      • 我收藏、浏览、订阅的表支持StarRocks表
功能优化

1.表相关OpenAPI增加关联逻辑实体和逻辑实体属性信息

  • 功能介绍

    • 表详情、字段详情的OpenAPI接口新增关联的逻辑实体、实体属性相关信息；另外新增2个OpenAPI，支持根据实体查询实体关联的表、根据实体属性查询表字段

数据服务

版本：v1.8.2

新增功能

1.新增OpenAPI，支持通过app_id获取对应的app_key和app_secret

  • 功能介绍
    • 详见数据服务OpenAPI手册
功能优化

1.开启传输加密后只允许进行加密通信

  • 功能介绍
    • 开启传输加密后，对请求/返回信息进行加密处理，只允许进行加密通信，如明文请求将报错。

控制台

版本：v1.9.0

功能优化

1.成员账号管理中导入成员和导入部门的模板优化

  • 功能介绍：
    • 导入模板填写说明完善，以及修改后导入，修改为不需要删除第二行的备注信息。
    • 导出人员和部门，增加第二行的说明信息。

版本：v1.8.1

新增功能

1.数据源登记中针对StarRocks数据源支持账号认证方式

  • 功能介绍：
    • StarRocks数据源，开启“源系统账号鉴权”功能后，支持设置“账号认证方式”（指当前数据源的“源系统账号映射”中账号的认证方式），未开启“源系统账号鉴权”，默认按照账号密码方式。设置后，账号映射中的账号执行时，会按照设置的认证方式去执行。
    • “账号认证方式”支持账号密码和LADP认证2种方式。

2.导航中新增“关系建模”

  • 功能介绍：
    • 关系建模是本数据平台的一个新产品，部署后，导航中会显示该产品的导航入口；
    • 该产品的介绍，参见其用户手册。
功能优化

1.用户支持修改已加入项目的角色

  • 功能介绍：
    • 平台级审批工单均已迁移至流程协作与通知中心，因为本版本对顶部导航中“申请审批”入口进行隐藏。

流程协作与通知中心

版本：v2.5.4

功能优化

1.工单中“产品名称”：“猛犸平台”更新为“数据平台” 。

2.流程设计模块中流程画布优化

  • 功能说明：
    • 优化展示样式；
    • 条件节点支持快捷查看所有分支，以及支持拖动调整分支优先级； 支持快捷修改所有分支条件、查看流程目标。

OpenAPI

版本：v1.0.7

新增功能

1.新增关系建模openapi 6个

  • 功能介绍：

    • 新增关系建模openapi 6个。