数据传输

版本：v3.30.0

新增功能

  1. 【离线】FTP数据源类型适配spark3.3.4版本；

  2. 【离线】离线传输任务，Spark引擎下，数据去向新增RabbitMQ数据源类型；

  • 功能介绍：
    • Spark引擎下，离线传输任务，数据去向新增RabbitMQ数据源类型，支持数据写入；
  1. 【配置管理】快速创建表配置功能增强，支持下载物理字段和JDBC类映射规则，支持配置不同数据源的字段映射；
  • 功能介绍：
    • 配置管理，针对离线同步任务，快速创建表配置中，新增物理字段和JDBC类映射规则文件下载功能；
    • 新增对于特殊字段类型映射规则自定义的功能，可选择诸如MySQL、SQLServer等数据源来源，配置快速建表的去向字段类型；
    • 文案优化，细化物理字段和JDBC字段类型的内容显示。
  1. 【离线】spark引擎下，当数据来源/去向为登记的Hive类型且登记版本为3.1.x-CDP7.1.x时，支持针对大表传输场景进行优化。
  • 功能介绍：
    • 来源/去向为3.1.x-CDP7.1.x的hive类型时，支持分区过滤功能；
    • 在源端为Hive大表传输场景下建议填写，可用于筛选Hive表分区显著提升数据读写性能，支持标准的where查询语句，仅需要填写涉及分区字段的条件表达式即可。

  1. 【离线】当数据去向为登记的Hive且版本为EasyData 2.1.x-Hadoop2.9.2版本时，分区表情况下支持动态写入功能；

  2. 【离线】Spark或DataX引擎下，支持向导/SQL模式下创建任务的openapi功能；

功能优化

1.【离线】修复hive2redis场景下，日志无报错但redis只写入少量数据的问题；

2.部署提效，支持对接控制台的统一域名来实现快速修改域名；

3.问题修复，登记PostgreSQL时，当版本为13.2时支持使用高版本驱动。

数据标准

版本：v2.2.8.1

功能优化

1.【后台功能】支持对接控制台统一域名

  • 功能介绍
    • 客户环境如需修改域名，可在控制台统一配置域名，配置后对数据标准生效，无需在数据标准单独配置。

指标系统

版本：v2.8.17.1

功能优化

1.部署提效，支持对接控制台统一域名来实现快速修改域名

  • 功能介绍

    • 非产品功能性需求，用户可不用关注。主要是运维层面进行域名的统一管理

指标平台

版本：2.6.5.1

功能优化

1.部署提效，支持对接控制台统一域名来实现快速修改域名

  • 功能介绍

    • 非产品功能性需求，用户可不用关注。主要是运维层面进行域名的统一管理

维度建模

版本：v1.9.9

新增功能

1.功能权限对接安全中心

  • 功能介绍

    • 之前产品的功能权限管理是在项目中心按照”数据团队管理者“、”数仓开发“两个固定角色来控制，权限管控粒度大、不灵活。本次产品功能权限管理对接了安全中心，可以灵活的自定义角色和成员的功能点，功能权限管控更加灵活、精细

  • 详细操作步骤

    • 进入【安全中心-角色管理】模块，在项目组级tab下给某角色或成员自定义分配相关权限即可

2.域负责人、审批人等获取用户接口优化为获取项目组成员的接口

  • 功能介绍

    • 之前域负责人、审批人下拉选项名单固定，导致需要设置的人员选不上。本次优化后下拉列表可从当前项目组下选择任意人员

3.支持解除主题和分层

  • 功能介绍

    • 对于已经设置过主题和分层的表，需要解除主题和分层时，支持单个或批量进行解除主题和分层
功能优化

1.建表/修改表性能优化

  • 功能介绍

    • 之前如果表的字段数量较多，在新建或修改表时可能会有性能问题导致页面卡顿提交失败，为此产品微调了页面交互来改善性能问题。在新建或修改表时，字段列表中正在编辑的字段所属行呈现编辑态交互，其他字段所属行则呈现为展示态交互

2.【AutoETL】支持修改离线开发任务目录、支持关闭调度

  • 功能介绍

    • 当导入模板为”批量建表&离线开发任务（DWD、DWS、DIM、ADS）“时，支持在Excel中修改离线开发任务的保存目录、关闭调度信息

3.部署提效，支持对接控制台统一域名来实现快速修改域名

  • 功能介绍

    • 非产品功能性需求，用户可不用关注。主要是运维层面进行域名的统一管理

关系建模

版本：v1.0.6

新增功能

1.支持TDH Hive物化

  • 功能介绍

    • 当平台集群为TDH时，支持物理模型TDH Hive表的物化
功能优化

1.部署提效，支持对接控制台统一域名来实现快速修改域名

  • 功能介绍

    • 非产品功能性需求，用户可不用关注。主要是运维层面进行域名的统一管理

离线开发

版本：v7.14.5

新增功能

1.【自助分析】"运行结果"新增功能

  • 功能介绍：
    • 支持调整列宽，调整方式为拖拽列标题边界线。
    • 支持选中行、选中列、选中单元格，支持右键或快捷键（Windows系统：ctrl+c/Mac系统：command+c）复制选中内容。注意：如命中下载和分享审批策略，则不可复制。
    • 支持查看行详情（行转列），并支持复制行内容。
    • 支持查看单元格，用于单元格字段内容超长时查看完整内容。
    • 页面布局及视觉优化。

2.【离线开发】代码类型节点支持“查看版本”

  • 功能介绍：
    • 针对DB2、达梦、Doris、GaussDB、GPSQL、MySQL、OceanBase、OracleSQL、SQLServer、StarRocks、TiDB、VerticaSQL、Python、Shell、Perl节点，支持“查看版本”功能，支持查看节点历史版本和版本比对，节点内容为代码和其他设置。

3.【离线开发】Doris节点、StarRocks节点、轮询节点且执行数据源类型为Doris/StarRocks，库表信息库表名称）、智能推荐依赖、代码提示适配三元组形式

  • 功能介绍：
    • 三元组背景知识介绍：在 Doris/StarRocks 中，可以创建多个 Catalog 指向不同的数据源（如 Hive、Iceberg、MySQL），Doris/StarRocks 自动通过 Catalog 获取对应数据源的数据库、表、列、分区、数据位置等，用户可以通过“catalog.db.table”的形式，查询catalog对应的数据源的表。
    • 针对Doris节点、StarRocks节点、轮询节点且执行数据源类型为Doris/StarRocks，此前已支持三元组形式的SQL执行，此版本在库表信息（含复制库表名称）、智能推荐依赖、代码提示也适配了三元组形式。
    • 注意：请先在 Doris/StarRocks 数据源登记时开启“联邦查询”并关联catalog后，此版本新增功能才可生效。
功能优化

1.【离线开发】针对最近一次智能推荐的依赖节点增加标签展示

  • 功能介绍：
    • 调度设置中，在依赖对象-任务依赖和节点依赖中，点击智能推荐按钮后，针对最近一次智能推荐出的节点会展示【智能推荐】的标签。

2.【离线开发】针对底座为TDH，优化SQL节点的代码解析功能

3.【离线开发】增加调度日历获取失败的重试逻辑

  • 功能介绍：
    • 获取调度日历失败增加重试机制。如达到重试次数时调度日历仍获取失败，则生成实例并置失败。

任务运维中心

版本：v1.19.5

新增功能

1.实例血缘新增列表视图

  • 功能介绍：
    • 实例详情页-实例血缘标签页下，新增列表视图，用户可以切换流程视图和列表视图，查看实例上下游血缘，方便确认任务执行情况。

2.补数据任务支持动态调整并发数

  • 功能介绍：
    • 补数据任务在运行过程中，支持调整并发。用户可以根据资源使用情况，及时调整补数据任务的并发数，从而提高任务执行效率。用户可以进入补数据任务详情页面，点击右上角“调整并发”按钮，进行操作。在补数据任务更多信息中，也可以查看调整并发的操作历史。

3.新增OpenAPI支持查询基线任务及其上游任务

  • 功能介绍：
    • 新增OpenAPI支持查询基线任务及其上游任务，详情可以查看OpAPI文档。

安全中心

版本：v4.1.8

功能优化

1.主动授权操作增加审计信息记录；

2.新增两个内置角色：数据团队管理者和数仓开发，配合维度建模权限管控功能统一迁移至安全中心管理；

3.部署提效，支持对接控制台统一域名来实现快速修改域名；

数据资产地图

版本：v3.0.2

新增功能

1.元数据列表筛选项可在模板配置

  • 功能介绍

    • 之前元数据列表支持哪些搜索项由系统内置，本次支持用户在元数据注册模板中自定义勾选需要设置的搜索项或筛选条件。注意仅支持设置表的筛选项或搜索条件，不支持设置列的筛选项或搜索条件。

  • 详细操作步骤

    • 进入【配置管理-注册模板配置】，对表的系统内置项、自定义项进行灵活勾选是否作为搜索项，设置完成后就可以在元数据列表进行搜索或者筛选。

2.元数据列表表头字段可配置

  • 功能介绍

    • 之前元数据列表能展示哪些字段都是系统固定的，本次新增了列表表头自定义的功能，用户可以选择要展示的字段及其顺序，方便用户快速查看自己关注的信息

  • 详细操作步骤

    • 点击元数据列表页右上角设置按钮即可
功能优化

1.表详情页支持快捷复制库表名

  • 功能介绍

    • 表详情页支持快速复制库表名

2.地图的邮件文案优化

  • 功能介绍

    • 地图相关的通知邮件标题中产品名称文案优化，统一从”数据地图“更改为”数据资产地图“，和产品名称保持一致

3.数据预览支持对接操作审计

  • 功能介绍

    • 用户在表详情页预览数据成功后，在安全中心操作审计中会记录为一个事件，方便审计用

4.部署提效，支持对接控制台统一域名来实现快速修改域名

  • 功能介绍

    • 非产品功能性需求，用户可不用关注。主要是运维层面进行域名的统一管理

数据治理360

版本：v3.2.3.1

功能优化

1.部署提效，支持对接控制台统一域名来实现快速修改域名

  • 功能介绍

    • 非产品功能性需求，用户可不用关注。主要是运维层面进行域名的统一管理

数据质量中心

版本：3.15.0

新增功能

1.数据比对中Hive对其他数据源的比对任务支持SQL模式比对

  • 功能介绍：
    • 此次新增了数据比对中SQL模式比对支持的数据源类型，包括Hive-MySQL、Hive-Oracle、Hive-SQLServer、Hive-Greenplum、Hive-Starrocks、Hive-Doris。

2.形态探查支持MySQL、SQLServer、Oracle数据源

  • 功能介绍：
    • 此次新增了形态探查中支持的数据源类型， 包括MySQL、SQLServer、Oracle。原先形态探查仅支持hive数据源，对一些外部数据源有探查需求时，只能通过先写传输任务导入hive然后进行探查，此次更新后可以直接对以上三类数据源进行探查，简化使用流程。

3.形态探查任务支持直接发起主键探查

  • 功能介绍：
    • 一般来说，主键探查往往需要发起多次探查才能确认主键。此次更新后，用户可以在形态探查列表上直接发起主键探查并即时查看探查结果，若结果显示主键不唯一，则再次发起探查即可，缩短用户使用链路，提高探查效率。

3.形态探查支持SQL模式探查

  • 功能介绍：
    • 探查对象支持SQL产出的虚拟数据集，用户可以输入自定义SQL，通过SQL校验后，即可进入下一步进行探查。
功能优化

1.自定义规则-表级（自定义SQL）规则代码解析支持别名相同时保留基准值和期望范围设置

  • 功能介绍：
    • 原先用户修改代码并重新解析后，原先设置的基准值和期望范围会自动清空，此次更新后，在代码解析时会出现气泡弹窗提醒用户是否要在别名相同时保留相关设置，避免用户只是想修改其中某一个字段导致其他字段设置的内容都被清空的情况，提高规则配置效率。

2.新建监控任务时储存异常数据样本设置中，选择结果储存位置时快速创建表支持选择存储格式。

  • 功能介绍：
    • 原先默认仅支持TEXTFILE格式，此次新增PARQUET格式。需注意，在通过excel方式导入监控任务时，新建任务需要指定TEXTFLE/PARQUET，更新任务时，若已开启存储异常数据且表已创建时，此条配置修改不生效，若要修改存储格式则需要修改表名。

2.形态探查任务列表相关优化

  • 功能介绍：
    • 此次调整了形态探查任务列表字段展示内容,包括探查对象为库表时支持点击跳转数据资产地图、操作列表中支持直接查看最近一次执行结果以及发起主键探查等。另外，探查内容支持批量导出。导出内容包括表级探查结果和字段探查结果。

数据服务

版本：v1.12.7

功能优化

1.部署提效，支持对接控制台统一域名来实现快速修改域名；

2.API域名协议优化，支持SSL_PROTOCOL协议适配TLSv1.2版本。

发布中心

版本：v1.8.1

新增功能

1.【后台功能】支持对接控制台统一域名

  • 功能介绍
    • 客户环境如需修改域名，可在控制台统一配置域名，配置后对发布中心生效，无需在发布中心单独配置。

标签画像

版本：v3.7.4

功能优化

1.部署提效，支持对接控制台统一域名来实现快速修改域名。