数据传输

版本：v3.19.0

1.【离线】数据去向为Doris和StarRocks时，支持快速新建表

• 功能介绍：
  • 数据去向为Doris和StarRocks时，支持快速新建表
• 功能使用注意事项
  • 在配置管理-快速创建表配置中，支持针对Doris和StarRocks设置是否启用模型设计中心的ODS层表名规则和字段类型映射规则。

2.【离线】来源为关系型数据库、去向为StarRocks时，来源表结构变更策略针对新增字段支持：去向表自动新增该字段，建立映射并同步数据

• 功能使用注意事项
  • 仅当数据源登记的账号有StarRocks表新建字段的权限时，方可自动新增字段，否则任务运行会报错。

3.【实时】数据去向新增支持数据源类型：Doris

• 功能介绍：
  • 数据去向新增支持数据源类型：Doris，适配版本为：1.1、1.2、2.0

4.【实时】数据去向为Iceberg和StarRocks时，支持快速新建表

• 功能介绍：
  • 数据去向为Iceberg和StarRocks时，支持快速新建表和批量新建去向表。

1.【离线】数据去向为clickzetta时，支持配置重试参数

2.【离线】HBase作为来源和去向新增支持2.2版本

3.【离线】数据来源为API且请求方式为post时，增加Params配置项

• 功能介绍：
  • 数据来源为API且请求方式为post时，增加Params配置项，支持将参数拼接到url上

4.【离线】数据来源和去向为Doris时，适配2.1版本

5.【离线】数据来源和去向为Doris时，支持读写名称含中文的字段

6.【离线】数据来源和去向为Greenplum时，适配7.1版本

1、修复实时同步任务-设置报警-报警组下拉列表获取失败的问题

控制台

版本：v1.10.0

1.调度日历支持自动定时同步

• 功能说明：
  • 平台级和项目级调度日历，新增支持定时从数据库中读取
  • 平台级，支持选择平台任意一个项目组下的某个MySQL数据源下的库表；项目级，支持选择当前项目组下的某个MySQL数据源下的库表
  • 选择的库表需要符合一定的格式，参考页面的说明
  • 定时同步模式下，支持手动立即触发一次同步

数据标准

版本：v2.2.0

1.增加DDM同步审计操作

• 功能介绍

  • 用户发起数据标准同步至DDM的行为后，可在安全中心操作审计模块中记录和查看该操作行为

• 注意事项

  • 部署了关系建模模块，才具有该功能

1.创建人默认有对应资源的所有操作权限

• 功能介绍

  • 自己创建的数据元、标准字典、原始字典，则创建人默认有该数据元、标准字典、原始字典的全部操作权限

2.支持后台批量初始化自定义字段的值域列表

• 功能介绍

  • 非产品页面上的功能，主要是后台提供对标准自定义字段的枚举值批量初始化数据的脚本

3.提供批量查询标准目录的接口

• 功能介绍

  • 提供查询所有项目组的标准目录接口，用于资产地图调用，方便资产地图超级项目组浏览所有项目组的资产目录

• 注意事项

  • 仅超级项目组场景下会调用该接口

版本：v2.1.9

1.支持查看标准同步到DDM的进度

• 功能介绍

  • 之前将标准数据同步到DDM时，不支持查看同步进度和历史同步记录，本次则新增标准同步DDM的进度和历史同步记录的功能，方便用户了解同步过程的进度和历史同步的记录。

• 操作步骤

  • 在数据元、标准字典、词根列表页，都可点击“同步至DDM”、“DDM同步历史”的操作

• 注意事项

  • 默认项目组负责人和管理员有权限，其他角色或人员需要在安全中心授权
  • 部署了关系建模模块，才具有该功能

2.DDM同步权限对接安全中心

• 功能介绍

  • 之前默认项目组负责人和管理员有DDM同步的权限，本次对接安全中心后，其他角色或人员可以在安全中心授权。

• 操作步骤

  • 进入「安全中心-安全管理-角色管理-项目组」页面，可以对角色或成员进行授权

• 注意事项

  • 部署了关系建模模块，才具有该功能

1.标准同步到DDM时，未变更的则不重复同步

• 功能介绍

  • 由于DDM自身限制原因，每次中台同步到DDM的标准默认是待审核状态。为了减少审核的工作量，故中台只需将有变更的标准同步至DDM，没有变更的标准则不会重复同步至DDM。

• 操作步骤

  • 用户无需操作，有系统同步时自动判断是否重复即可

• 注意事项

  • 部署了关系建模模块，才具有该功能

2.标准查看权限分配及字典历史权限数据迁移

• 功能介绍

  • 之前数据元、字典授权只能全部一起授权，不支持根据目录圈定范围进行授权。本次新增选择指定范围的标准进行授权，权限管控粒度更加精细。

3.整版发布后标准态的数据元和字典同步到DDM

• 功能介绍

  • 之前同步到DDM的标准都是标准态，本次优化后是将发布后的标准同步至DDM

模型设计中心

版本：v1.9.4

1.支持Doris建模

• 功能介绍

  • 模型设计中心支持创建、编辑Doris表，包括Doris表属性、字段属性定义等

• 操作步骤

  • 新建表选择数据源类型为Doris，继续建表流程即可

1.Greenplum建表时导入的Excel模板调整，支持填写分区规则

• 功能介绍

  • 之前导入Greenplum的模板不支持填写分区规则，本次优化后可以填写分区规则

• 操作步骤

  • 点击导入，选择物化引擎为Greenplum类型，下载模板后即可在模板中填写分区规则

版本：v1.9.3

1.建模链路适配TDH Inceptor

• 功能介绍

  • 之前模型设计底层主要对接的是网易大数据底座NDH，本次新增了适配TDH底座，可在TDH集群上进行模型设计建表

• 注意事项

  • 只有在TDH集群下，才支持建模适配TDH Inceptor相关功能

2.支持标准数据元推荐和审计

• 功能介绍

  • 模型设计建表时，支持在字段设计页面根据输入的字段中文名称或者字段名称来推荐与之同名的标准数据元，采纳推荐的数据元后，会自动填充数据元、字段类型、长度、精度、字典等信息，大大提升用户填写效率和规范。标准推荐行为可以在安全中心进行审计记录。

• 功能详细使用步骤

  • 进入建表页面，添加字段时，例如输入字段中文名称”手机号“，则下列列表会推荐和手机号相关的数据元，选中某个数据元后，系统会将数据元英文名称填充到字段名称里，并自动填充标准类型作为字段类型，标准长度作为字段长度，标准中文作为字段描述，标准的字典作为字段的字典等。同理，当用户没有输入字段中文名称，而是输入字段名称例如phone时，系统会推荐标准英文和phone相关的数据元，并且在采纳数据元后自动填充字段类型、长度、描述、字典等信息。

关系建模

版本：v1.0.1

1.同步DDM时可以选择范围

• 功能介绍

  • 之前同步DDM模型到中台上时，默认都是全量同步，存在性能问题。本次增加模型同步时可以选择指定目录下的模型，以便提高模型同步的效率

• 详细操作步骤

  • 模型列表点击”从DDM同步“按钮后，弹出选择模型目录的弹框，选择需要同步的模型即可

• 注意事项

  • 默认项目组负责人和管理员可以操作，其他人员或角色可以在安全中心授权

2.支持查看DDM模型同步的进度

• 功能介绍

  • 之前发起DDM模型同步后，用户无法知晓同步的历史和进度。本次新增DDM同步历史查看的功能，方便用户查看历史同步的记录和最新同步的进度

• 详细操作步骤

  • 在模型列表页点击”DDM同步历史“即可进入查看页

• 注意事项

  • 默认项目组负责人和管理员可以操作，其他人员或角色可以在安全中心授权

3.功能权限对接安全中心，且支持按照资源范围进行模型目录授权、L1-L3授权

• 功能介绍

  • 之前没有对接安全中心权限管理时，默认只有项目组负责人和管理员可以操作，本次对接了安全中心后，可以灵活地给指定成员或角色分配相关操作权限，并且可以细化到按照目录或者资源来进行授权

• 详细操作步骤

  • 进入「安全中心-安全管理-角色管理-项目组」页面下，对指定角色或人员授权即可

4.支持L3版本管理

• 功能介绍

  • 之前L3业务对象的版本号是人工输入的，存在不规范问题，本次增加版本管理功能后，版本号有系统自增管控，且上线状态的业务对象不可随意编辑删除，需要下线后才可操作，下线后会生成一个中间版本号，再次上线后则版本号定版。版本号格式为三位数字例如1.0.0，逢9进1。

• 详细操作步骤

  • 系统版本自增，正常新建即可

5.对接操作审计

• 功能介绍

  • 关系建模中模型同步、模型物化、增删改L1-L3等等操作均可对接到操作审计中，以便后续做相关审计追溯等

6.逻辑实体支持权威表设置，实体属性支持权威字段展示

• 功能介绍

  • 逻辑实体可以关联多张表，但可能存在某张表能够最详细最权威解释实体各方面属性的，此时可以将这张表作为实体的权威表。实体属性也可以从权威表中找到对应的字段，该字段可以即可以作为属性的权威字段

7.逻辑实体属性支持设置源头属性或引用属性

• 功能介绍

  • 实体属性可能来自另一个实体属性的加工或者定义，也可能自身就是一个完整独立的属性。该版本支持在实体属性中设置其是否是源头属性，若自身就是一个完整独立的属性那么就是源头属性，若需要引用其他属性，则非源头属性，需要设置引用哪个逻辑实体的哪个属性。

8.支持批量导入导出L3

• 功能介绍

  • 支持通过Excel批量导入业务对象，或者批量导出业务对象为Excel

9.支持同步DDM的概念模型

• 功能介绍

  • 支持从DDM建模工具中同步概念模型到平台上，支持查看模型详情页，包括模型基本信息、业务对象列表、业务对象的ER关系、模型的历史版本等。

• 注意事项

  • 需要确认企业已经部署了DDM，并开启了关系建模子产品。

1.逻辑实体负责人支持展示为模型负责人

• 功能介绍

  • DDM同步过来的逻辑模型实体负责人是空的，故平台默认将模型负责人作为模型下实体的负责人

2.业务对象关联逻辑实体支持多选

• 功能介绍

  • 之前业务对象关联逻辑实体只能单选，本次支持多选

3.L1-L3表单内容长度调大，L1-L3英文名称增加格式要求

• 功能介绍

  • 优化L1-L3的输入内容长度，中英文名称由原来的10个字符改为100个字符，且英文名称仅支持数字、小写字母和下划线，不能以下划线开头和结尾

4.模型列表支持查看模型路径

• 功能介绍

  • 原来模型列表页没有展示目录路径，不方便定位模型所在目录的位置，故增加目录展示的信息

5.中台支持同步删除之前在DDM中已经删除的空目录

• 功能介绍

  • 之前DDM中删除的目录，在平台上无法删除，本次优化后支持同步删除DDM中的目录

6.业务对象统一都去掉”数据治理管理员“字段

• 功能介绍

  • 去掉业务对象中”数据治理管理员“的字段

7.Tab页增加L2、L3数量统计

• 功能介绍

  • L1详情页主题域Tab增加主题域数量展示，L2详情页的业务对象Tab增加业务对象数量展示

8.支持修改业务对象的目录路径

• 功能介绍

  • 原来不支持修改业务对象的主题域路径，本次优化后可支持修改

离线开发&自助分析

版本：v7.9.0

1.自助分析支持使用doris新建和查询带中文表名和字段的表

• 功能介绍：
  • 自助分析，query中使用doris数据源，新增支持建表时，表名和字段名称支持中文

2.自助分析运行结果支持邮件发送

• 功能介绍：
  • 自助分析运行结果支持分享，可通过直接复制结果链接发送给其它用户，或邮件发送方式，将结果链接发送给其它用户
    • 分享需要获取“复制结果、分享、下载”的权限
    • 分享时，如果命中审批策略，则在审批通过后，系统才会通过邮件发送结果链接
    • 支持在高级运行时，同时开启自动分享功能

3.自助分析支持PostgreSQL数据源

• 功能介绍：
  • 自助分析中，新增PostgreSQL数据源。

4.离线开发的Hive表有更新但产出任务未提交支持提醒

• 功能介绍：
  • 针对离线开发操作SQL节点和Hive表，容易出现Hive表已经修改，但是任务未提交的场景，导致任务夜间执行失败。
  • 系统没填22点，会扫描有ddl变更的hive表，在修改时间之后表的产出任务（元数据中心的活跃血缘）无提交上线记录（生成版本），则会通过邮件、IM（不含短信，看客户环境支持的渠道，如企业微信、钉钉、飞书等）将相关的任务和表发送给任务负责人
  • ddl变更指：修改列、表结构替换、新增列

1.离线开发提交上线审批支持设置审批的内容范围

• 功能介绍：
  • 离线开发，提交上线支持审批，当前版本新增了对提交上线需要审批的内容支持设置，包括任务包、调度设置、报警设置。

2.自助分析数据源切换优化

• 功能介绍：
  • 自助分析数据源切换，优化了切换方式，鼠标移动到数据源上，可显示下拉箭头，点击后，可切换数据源等

3.自助分析新增GreenPlum 7.1的适配

• 功能介绍：
  • 自助分析，GreenPlum数据源支持到7.1版本。

4.离线开发调度设置中任务支持跳转

• 功能介绍：
  • 离线开发任务的开发模式和线上模式、修改历史和版本比对中任务的版本详情中，调度设置中配置的上游任务依赖，当前版本新增了支持新标签页跳转到离线开发的任务详情页面

5.离线开发配置依赖时支持展示末级节点

• 功能介绍：
  • 离线开发任务调度设置中，添加上游依赖，新增了节点是否为末级节点的编辑，并显示在第一行，方便用户选择该节点。

6.离线开发SQL节点中数据表支持查看表描述

• 功能介绍：
  • 离线开发的SQL节点，左侧显示的库表信息，鼠标移动到表上支持显示表描述

7.离线开发运行结果支持全屏查看

• 功能介绍：
  • 离线开发运行结果，新增了全屏页查看的功能，同时查看嵌套流内循环执行的实例，也改为全屏页查看

1.自助分析运行结果字段为timestamp格式时排序异常问题修复

• 功能介绍：
  • 针对自助分析查询结果为timestamp格式的列，修复了排序异常问题

版本：v7.8.0

1.离线开发节点支持自定义血缘功能

• 功能介绍：
  • 离线开发的SQL、逻辑数据源节点（如MySQL、Oracle等）、Python、Shell、Perl、Spark、Script、触发器，都支持设置自定义血缘。
    • 节点运行后，会推送配置的输入输出表信息到表血缘数据中。

2.离线开发调度设置中智能推荐依赖扩大支持的节点范围

• 功能介绍：
  • 离线开发调度设置，原本仅支持SQL节点的智能推荐，当前版本支持了节点配置自定义血缘，此类支持自定义血缘的节点也支持智能推荐依赖。
  • 智能推荐时，输入表来源包括节点解析和配置的自定义血缘中的输入表。
  • 产出来源节点推荐时，优先推荐开发模式配置了输出表的任务，其次是开发模式执行、线上调度、线上重跑、补数据、补数据重跑的任务。

1.离线开发

• 功能介绍：
  • 离线开发开发模式运行的运行结果做了优化，由弹框改为页面，支持链接分享，并补充了运行配置等快照信息。

任务运维中心

版本：v1.15.0

1.任务补数据时选择上下游数量过多时卡顿问题优化

• 功能介绍：
  • 补数据超过200个时，画布拖动时，改为仅显示外框拖动的样式，解决拖动卡顿问题

实时开发

版本：v4.6.0

1.【实时开发】对接Git，支持将SQL任务和JAR任务推送至Git

• 功能介绍：
  • 对接Git，支持将SQL任务的任务代码、配置信息和JAR任务的Jar包、配置信息推送至Git。
• 功能使用步骤说明
  • 实时开发-开发管理-实时项目管理-集成Git中，支持以项目粒度绑定一个git仓库，支持配置Git仓库地址、SSH私钥、主分支
    • Git仓库地址：支持填写Git仓库的地址
    • SSH私钥：支持填写Git仓库的SSH私钥
    • 主分支：根据输入的Git仓库和SSH私钥自动拉取所有分支，优先匹配main，如果没有则匹配master，如果没有则再匹配字典序asc第一个分支。
  • 实时开发任务提交上线时，支持将任务提交到Git。当任务提交到Git提交失败时，支持通过报警渠道进行通知。
  • 任务目录结构为：{git工程名字}/easydata/easystream_task/{项目名称}/{集群名称}/{任务jobid}/任务名称。
  • 针对Jar任务，任务目录下包含json文件和Jar任务包（如Jar包来源是本地文件），json文件的推送内容包含：任务基本信息、main.class、main.args、运行配置、依赖配置。如Jar任务包来源是文件管理，只推送文件路径，不推送文件。
  • 针对SQL任务，任务目录下包含json文件，json文件内的内容包含：SQL块、SOURCE块、DIM块、SINK块的配置内容，任务基本信息，运行配置，依赖配置。

2.【实时开发】流表新增数据源类型：StarRocks

• 功能介绍：
  • 流表新增数据源类型：StarRocks，支持本项目-集群流表和公共流表。

1、【实时运维】修复报警组下拉列表获取失败的问题

2、【实时开发】修复项目组重命名后丢失公共流表的问题

3、【实时开发】代码块增加最大高度限制，解决代码搜索功能不可用的问题

数据资产地图

版本：v2.19.4

1.支持预览Doris表数据，展示Doris表血缘

• 功能介绍

  • 数据资产地图的Doris表详情支持数据预览、产出信息、数据血缘。

• 操作步骤

  • 从数据资产地图进入Doris表详情页面，可以查看Doris表数据、产出信息、表血缘。

• 注意事项

  • Doris表血缘解析SDK底层是复用MySQL血缘SDK，适用于MySQL语法。

2.支持展示Greenplum表字段血缘

• 功能介绍

  • 数据资产地图的Greenplum表详情支持字段血缘。

• 操作步骤

  • 数据资产地图进入Greenplum表详情页面，可以查看Greenplum表字段血缘。

• 注意事项

  • Greenplum表血缘和字段血缘的来源主要包括自助分析、离线开发(开发模式和线上模式)运行的GPSQL任务。

3.支持元数据填充规则设置和自动填充

• 功能介绍

  • 在元数据管理页面，支持用户对“字段物理名称”、“字段备注”配置正则表达式，为符合正则规则的元数据打上对应的属性标签，具体功能包括：

    • 数据资产地图-配置管理模块，新增“元数据填充规则配置”功能。

    • 元数据采集页面，支持在采集任务中对已圈选的表进行元数据自动填充，并支持查看元数据自动填充执行记录。

    • 元数据注册列表页面、元数据详情页面，支持对存量数据手动发起元数据自动填充检测，并支持查看元数据自动填充执行记录。

    • 支持在安全中心模块分别授予“元数据填充规则配置”、“元数据自动填充检测”的相关权限。

• 操作步骤

  • 进入数据资产地图-配置管理模块，在“元数据填充规则配置”功能下，支持查看、编辑元数据填充规则。

  • 新建、编辑元数据采集任务时，用户可勾选“是否触发元数据填充规则检测”，勾选后则在本次采集任务启动时触发自动填充功能。可以在采集实例监控页面查看元数据自动填充执行记录。

  • 在元数据注册列表页面、元数据详情页面，用户可以手动对存量元数据发起自动填充检测。进入元数据属性检测记录页面可以查看元数据自动填充执行记录。

  • 进入安全中心的角色管理页面，支持对“元数据填充规则配置”、“元数据自动填充检测”进行功能授权。

4.支持跨项目组资产共享

• 功能介绍

  • 允许本项目组向其他项目组共享数据资产，在数据资产地图首页、资产目录、数据查询页面支持查看其他项目组共享给本项目组的数据资产，具体功能包括：

    • 支持本项目组向其他项目组发起资产共享申请。

    • 支持本项目组向其他项目组申请回收已共享的资产。

    • 支持本项目组查看目前已向其他项目组共享的资产。

• 操作步骤

  • 用户在数据资产地图首页、资产目录、数据查询页面可以切换tab，查看其他项目组共享给本项目组的数据资产

  • 进入数据资产地图-配置管理模块，可在“资产共享配置”功能下，查看本项目组的新建资产共享、回收资产共享、查看资产共享结果。

• 注意事项

  • 如果没有其他项目组共享的资产，则不会显示切换自有资产或共享资产的tab。

5.跨项目组资产共享对接审批流和功能权限

• 功能介绍

  • 支持设置“资产共享配置”的功能权限，并对接安全中心。

  • 资产共享的发起和回收审批流对接流程协作与通知中心。

• 操作步骤

  • 进入安全中心，在项目组角色或成员下可授予“资产共享配置”的权限。

  • 进入流协的审批中心，可以查看并处理发起或回收资产共享的申请工单。

• 注意事项

  • 项目组负责人和管理员默认拥有资产共享配置的权限。

1.元数据关联实体只能选择有权限的业务对象下的实体

• 功能介绍

  • 之前元数据治理时，在“关联的逻辑实体”下拉框，可以选择没有挂载到业务对象的逻辑实体。本次优化后，仅可以选择关系建模中，有权限的业务对象下的逻辑实体作为元数据的关联实体。

  • 调整了元数据导出excel模板中，“关联的逻辑实体”字段的相关文案。

• 注意事项

  • “关联的逻辑实体”下拉框受到用户权限的影响，限制用户仅能查看有查看权限的业务对象及其逻辑实体。

2.StarRocks表详情支持查看DDL

• 功能介绍

  • StarRocks表详情页面，用户可点击查看DDL信息。

3.元数据采集在大数据量时，优化性能问题

• 功能介绍

  • 之前新建元数据采集任务，选择采集范围时，如果数据表过多，点击一键全选会出现内存溢出错误。本次优化后，一键全选功能增加条数上限，选择数据表超过1万张时禁用一键全选功能，并设置提醒文案，建议用户以整库采集元数据。

4.超级租户遗留问题优化

• 功能介绍

  • 目前超级项目组在资产目录、表详情页面仅能查看到部分表信息，且无法搜索子项目组发布的Hive表和非Hive表。本次优化后，超级项目组能够看到子项目组的表详情和治理内容，并且可以搜索到子项目组已发布的数据资产。

5.表详情查看权限展示TDH对应的权限点

• 功能介绍

  • 在TDH集群下，支持查看当前用户具有表的哪些权限，若没有权限则可去申请权限

数据质量中心

版本：v3.8.6

1、数据质量-数据比对和数据探查支持TDH，v6.2.2和v9.2.2

• 功能介绍： 数据质量数据比对和数据探查支持TDH，数据源类型选择Hive，数据源选择TDH hive数据源：
  

版本：v3.8.5

1、数据质量质量监控支持TDH，v6.2.2和v9.2.2

• 功能介绍： 数据质量监控任务支持TDH，数据源类型选择Hive，数据源选择TDH hive数据源：
  

数据服务

版本：1.9.0

1.API支持设置负责人，并支持批量移交负责人

• 功能介绍
  • API支持设置负责人，并支持批量移交负责人
• 功能使用注意事项
  • 仅项目负责人、项目管理员、API负责人、API创建人、API协助管理者、有API编辑权限的用户有权限移交该API的负责人
  • API导入导出时，API导入人默认为API负责人

2.数据服务API支持文件夹管理

• 功能介绍
  • 在项目中，支持自定义文件夹，仅项目负责人、项目管理员有新建文件夹、重命名文件夹、删除文件夹的权限。
  • 文件夹最多支持三级。
  • 历史API的保存位置均置为“默认文件夹”。
  • API导入导出和发布中心发布API时，判断接收方是否存在该文件夹。如接收方存在该文件夹，则API的保存位置保持不变，继续放在该文件夹下；如接收方不存在该文件夹，则自动在接收方先新建文件夹，再导入任务。
  • 考虑到历史全量API可能会需要批量调整保存位置，支持批量修改API的保存位置。

3.新增OpenAPI，支持按时间查询API调用次数并按应用统计

• 功能介绍
  • 详见数据服务OpenAPI使用手册

1.查询API详情的OpenAPI返回值完善

• 功能介绍
  • 详见数据服务OpenAPI使用手册

发布中心

版本：v1.4.0

1.新增资源类型，支持发布参数组

• 功能介绍：
  • 新增资源类型，支持发布参数组，参数组范围为当前项目组-当前集群下当前项目获取使用授权的参数组。
• 功能使用注意事项
  • 如果发布方和接收方项目-集群从属于同一项目组-集群，则参数组发布检测时弱规则检测不通过（提示在同一项目组-集群下），发布发布包时会跳过发布该参数组。
  • 资源发布顺序为：参数组->Hive表->质量监控任务->离线同步任务->数据服务API->离线开发任务。