数据传输

版本:v3.37.0

新增功能

1.【实时】实时传输任务,新增支持批量启动过、批量停止、批量取消启动和批量取消停止功能

  • 功能介绍:
    • 在实时传输任务列表,批量选择任务后,支持批量启动、批量停止、批量取消启动、批量取消停止的批量操作能力;
    • 对于不符合批量操作的任务,支持在批量结果弹窗中展示失败原因。

2.【离线】离线同步任务,新增支持停止功能

  • 功能介绍:
    • 在离线同步任务列表,新增支持批量停止功能;

3.【实时】实时传输任务导出时,任务配置增加报警内容

  • 功能介绍:
    • 当报警人或报警组在当前项目下不存在时,会默认填充当前导入人为报警人;
    • 若多个报警人存在部分不存在的情况,则仅填充存在的账号;

4.【离线】通过excel方式批量创建离线同步任务,支持对hive和doris去向表合规性进行校验

  • 功能介绍:
    • 通过上传excel的方式批量创建离线同步任务时,针对去向为hive或doris的表,支持针对表名称的合规性进行校验,包括字段长度、表命名规范等。

5.【离线】API数据源类型,URL内容增加空格校验处理

  • 功能介绍:
    • 当离线同步任务的来源为API时,URL地址中若前后有空格,支持在保存时进行处理。
功能优化
  1. 【离线】离线同步任务,数据去向为ES时,针对PreDSL和postDSL增加提示内容;

  2. 【离线】对于处于审批中的离线同步任务,在任务的详情页面,去提交功能优化,保持和列表操作相同的交互,审批中的任务不支持去提交;

  3. 【离线】修复来源为mongoDB时,且mongoDB字段内容为json格式的处理策略问题,包括value值为null,key不显示问题,以及value为时间戳无法解析等问题优化;

数据标准

版本:v2.3.2

新增功能

1.【标准拾取】支持基于AI智能拾取词根(付费增值功能)

  • 功能介绍
    • 为解决用户标准制定门槛高的问题,数据标准-标准拾取模块提供了词根拾取功能,可基于表的字段描述进行分词,将满足重复阈值的分词提取为词根中文,并支持批量补全词根的英文全称和简称,最后由用户选择是否进行相关词根的制定。词根拾取对接AI后,借助AI大模型的中英文语言能力,进行中文分词和英文全称和简称的补全,进一步提升了词根拾取的效率。
    • 功能使用说明详见“标准流程管理-标准拾取”章节。

2.配合平台整体规划,支持去Hadoop环境下部署

  • 功能介绍
    • “标准拾取”模块支持两种拾取方式:内置算法拾取和AI拾取。其中,内置算法拾取任务执行会占用内存资源,AI拾取为付费增值功能,故此模块默认关闭,如需开启请联系售后支持人员。
功能优化

1.新增OpenAPI,用于提供批量获取数据元信息的接口

2.安全漏洞修复

维度建模

版本:v2.0.5

功能优化

1.标准覆盖时增加对比内容和二次确认

  • 功能介绍

    • 之前字段设计时,如果选择了关联标准数据元,则会直接将标准信息覆盖当前字段原有信息。本次优化后,选择了关联标准数据元,则会弹框对比标准内容和现有字段有差异的内容,让用户选择是否需要覆盖标准的哪些内容

离线开发&自助分析&平台基础

版本:v7.16.0

新增功能

1.【离线开发】针对SQL节点,当同时打开多个节点时,切换不同的节点,支持对代码的折叠展开状态保存。

  • 功能介绍:
    • 离线开发的SQL类节点,当打开多个tab时,切换不同的节点时,支持对代码中的折叠/展开状态进行保存,方便用户展开收起代码定位;

2.【离线开发】【自助分析】SQL查询结果中,支持预览结果分页。

  • 功能介绍:
    • 离线开发SQL类节点,查询结果预览时,支持结果分页;
    • 自助分析查询结果预览时,同样支持结果分页。

3.【数据管理】数据管理删除文件夹时,支持判断递归文件数量,超过200w时不允许删除文件夹。

  • 功能介绍:
    • 对数据管理的文件夹进行删除操作时,会递归判断文件数量,当超过200w时不允许直接删除文件夹,防止底层组件性能问题影响任务运行。

4.【离线开发】配置管理中,任务命名规范支持选择子文件夹,支持对归属到具体子文件夹的任务检测命名合规性。

  • 功能介绍:
    • 配置管理中,当用户圈定命名规范的文件夹时,支持选择子文件夹,细化到归属到对应子文件夹下的任务检测命名的合规性。
功能优化

1.【离线开发】MR节点的前端组件统一,支持展开多个tab;

任务运维中心

版本:v1.21.0

新增功能

1.补数据操作,列表视图中支持按照深度、所属基线、标签等进行筛选,且增加操作列,支持批量选择或批量取消操作

  • 功能介绍
    • 补数据操作,列表视图中,支持按照深度、所属基线、标签筛选任务;
    • 新增操作列,支持批量选择或批量取消,包括选择/取消当前节点、上游一级任务、上游所有任务、下游一级任务、下游所有任务。

2.补数据操作,最多跑一次,支持配置执行每月最早实例和执行每月最晚实例;

  • 功能介绍
    • 补数据操作,基础设置中,最多跑一次功能,新增支持执行每月最早实例和执行每月最晚实例;

安全中心

版本:v4.2.3

新增功能
  1. 安全审计,数据审计模块,支持Doris字段级审计功能;

  2. 数据识别支持选择同个数据源下的多个数据库创建识别任务;

  3. 安全审计,风险事件记录模块,增加风险事件规则的过滤条件;

功能优化
  1. 优化角色管理模块中,给某个角色添加成员时,成员数量有遮挡的交互问题。

数据资产地图

版本:v3.1.0

功能优化

1.Hive表详情支持跳转到帆软

  • 功能介绍

    • 针对有权限的Hive表,支持能快捷跳转到帆软BI去创建对应数据集,用于后续的分析
  • 注意事项

    • 需要后台确认是否开启了对接帆软的开关,开启后才支持跳转

2.Doris表支持编辑表描述和字段描述

  • 功能介绍
    • 默认仅表所属项目负责人/管理员、表技术负责人支持编辑Doris表描述和字段描述

版本:v3.0.9

功能优化

1.搜索结果页支持按照具体数据源筛选

  • 功能介绍
    • 地图首页搜索表时,在搜索结果页左侧可以按照数据源名称进行筛选

2.Doris表和Doris物化视图的详情页支持展示权限及申请权限的入口

  • 功能介绍
    • 在Doris表和Doris物化视图的详情页,可以展示用户的数据权限,若没有权限则支持点击申请权限,跳转到安全中心进行权限申请操作

3.元数据治理、资产目录等均支持适配Doris物化视图类型

4.首页点击表、指标、标签、API等卡片上的数字,可以直接进入到查询页面

标签画像

版本:v7.16.0

新增功能

1.【离线开发】针对SQL节点,当同时打开多个节点时,切换不同的节点,支持对代码的折叠展开状态保存。

  • 功能介绍:
    • 离线开发的SQL类节点,当打开多个tab时,切换不同的节点时,支持对代码中的折叠/展开状态进行保存,方便用户展开收起代码定位;

2.【离线开发】【自助分析】SQL查询结果中,支持预览结果分页。

  • 功能介绍:
    • 离线开发SQL类节点,查询结果预览时,支持结果分页;
    • 自助分析查询结果预览时,同样支持结果分页。

3.【数据管理】数据管理删除文件夹时,支持判断递归文件数量,超过200w时不允许删除文件夹。

  • 功能介绍:
    • 对数据管理的文件夹进行删除操作时,会递归判断文件数量,当超过200w时不允许直接删除文件夹,防止底层组件性能问题影响任务运行。

4.【离线开发】配置管理中,任务命名规范支持选择子文件夹,支持对归属到具体子文件夹的任务检测命名合规性。

  • 功能介绍:
    • 配置管理中,当用户圈定命名规范的文件夹时,支持选择子文件夹,细化到归属到对应子文件夹下的任务检测命名的合规性。
功能优化

1.【离线开发】MR节点的前端组件统一,支持展开多个tab;