数据传输

版本：v3.9.0

新增功能

1.【实时同步任务】数据来源新增TelePG数据源

  • 功能介绍：
    • 任务类型为多表同步时，数据来源支持读取TelePG数据源。
  • 功能使用注意事项：
    • 请注意设置合理的日志回收策略。任务启动时，如果指定读取的数据区间内存在被回收的日志，则任务不会报错，但仅可读取未回收的日志对应的数据，存在数据丢失风险。
      仅支持读取编码格式为UTF-8的文本数据，数据库请勿使用ASCII等其余编码格式。
      数据库Replica Identity（用于指定在进行数据复制时如何确定唯一性标识符的设置）的值建议设置为“FULL（表示使用所有表列作为唯一性标识符）”，虽然可能会增加复制的数据量，但能保障数据的一致性和完整性。
  • 功能详细使用步骤：
    • 功能入口： EasyData-V7.0-Update11 - 图1

2.【离线同步任务】数据传输来源或去向为Hive时，适配版本：2.1.x-CDH6.3.x

  • 功能介绍：
    • 数据传输来源或去向为Hive时，适配版本：2.1.x-CDH6.3.x。
  • 功能使用注意事项：
    • 读写Hive版本：2.1.x-CDH6.3.x基于Spark3的特性：multiple catalog实现。仅当用户环境支持Spark3.3时，支持读写此版本，否则任务会报错。
    • 来源版本为：2.1.x-CDH6.3.x，读取方式支持基于Spark读取数据，任务模式支持向导模式。

  • 功能详细使用步骤：

    • 功能入口： EasyData-V7.0-Update11 - 图2
    功能优化

1.【离线同步任务】批量创建任务功能增强：来源新增Hive，去向新增FTP，新增高级配置模块

  • 功能介绍：
    • 来源新增Hive数据源，支持读取平台内置Hive数据源。来源为任意数据源类型时，新增特殊字符替换功能。
    • 去向新增FTP数据源，功能对标创建单个离线同步任务。
    • 新增高级配置模块。
  • 功能使用注意事项：
    • 来源为Hive时，仅支持读取平台内置Hive数据源。如需读取同集群下其余项目的库，请将库公开给当前项目并授予批量创建任务的用户账号和任务执行账号读权限。
    • 去向为FTP时，仅支持选取当前用户有写权限的数据源。

2.【离线同步任务】脱敏规则支持选取脱敏算法为UDF Studio中的UDF的脱敏规则及数据来源为API、HBase、Elasticsearch时的来源表字段选取优化

  • 功能介绍：
    • 脱敏规则支持选取脱敏算法为UDF Studio中的UDF的脱敏规则，字符型字段和数值型字段均可选取相应脱敏规则。其中，脱敏算法统一显示为“UDF Studio中的UDF"，算法配置显示函数中文名称。
    • 数据来源为API、HBase、Elasticsearch时的来源表字段选取优化：
      1）来源为API时，数据脱敏-来源表字段支持选取字段映射已选取的来源表字段。如字段映射选取自定义表达式，填写格式为a as b时，数据脱敏-来源表字段选项文案为“b”。
      2）来源为HBase时，数据脱敏-来源表字段支持选取字段映射已选取的来源表字段。如字段映射选取列族并填写列修饰符，则数据脱敏-来源表字段选项文案格式为“列族:列修饰符”。
      3）来源为Elasticsearch时，数据脱敏-来源表字段支持选取字段映射已选取的来源表字段。如字段映射选取自定义表达式，填写格式为a as b时，数据脱敏-来源表字段选项文案为“b”。
  • 功能使用注意事项：
    • 配置任务时仅可选取当前用户有权限的函数。
    • 运行任务时会校验任务执行账号是否有函数权限，若无权限则任务报错。
    • 运行任务时，如果函数有测试态，开发模式用函数的测试态，线上模式有函数的线上态；如果函数没有测试态，开发模式和线上模式都用函数的线上态。
  • 功能优化后使用步骤：
    • 功能入口：
      EasyData-V7.0-Update11 - 图3

3.【离线同步任务+实时同步任务+数据导入】选取和使用队列时增加对队列适用场景的判断逻辑

  • 功能介绍：
    • 离线同步任务：试运行仅可选取队列适用场景包含离线同步的队列；任务运行时校验队列的适用场景，如不包含离线同步，则任务报错。
    • 数据导入：导入数据时仅可选取队列适用场景包含离线同步的队列；任务运行时校验队列的适用场景，如不包含离线同步，则任务报错。
    • 实时同步任务：试运行仅可选取队列适用场景包含实时同步的队列；任务运行时校验队列的适用场景，如不包含实时同步（数据传输），则任务报错。

4.【离线同步任务】来源和去向为结构化数据源时支持清空映射

  • 功能介绍：
    • 字段映射新增清空映射按钮，点击按钮如二次确认要清空映射，则数据去向为Hive、Doris、StarRocks、Maxcompute时，来源表字段列将均置为自定义表达式；数据去向为其余数据源类型时，来源表字段列将均置为不导入。
  • 功能优化后使用步骤：
    • 功能入口：
      EasyData-V7.0-Update11 - 图4

数据标准

版本：v2.1.3

新增功能

1.支持任意选择两个数据元进行差异比对

  • 功能介绍：支持在数据元列表页任意选择两个数据元进行差异比对，也可在差异比对页面重新选择数据元进行比对

2.支持数据元关联标准文件

  • 功能介绍：支持定义数据元时关联标准文件管理模块管理的标准文件，在数据元详情页可跳转到对应标准文件列表进行下载

指标系统

版本：v2.8.6

新增功能

1.支持查看指定指标的详情信息

  • 功能介绍：给数据地图提供接口，在血缘页面可查看某个指标的信息

2.指标更新的血缘信息能够上报给元数据中心

  • 功能介绍：当指标发生变更后，主动调用地图接口进行血缘信息更新

模型设计中心

版本：v1.8.4

新增功能

1.模型设计中心支持DM8.1

  • 功能介绍：新增对达梦8.1建表的支持

2.支持配置模型设计时数据元必填

  • 功能介绍：支持用户自行配置建模规范，设置数据元必须挂载，设置后保存建表信息时必须要填写数据元，否则不允许通过

3.支持修改表生命周期

  • 功能介绍：支持在模型列表页对自己负责的表进行表生命周期的配置

4.支持模型设计关联指标时同步血缘信息给数据地图

  • 功能介绍：支撑数据地图全链路血缘，主动上报字段与指标关系

离线开发

版本：v7.1.2

新增功能

1.支持设置离线同步专用队列

  • 功能介绍：

    • 注册队列时的适用场景中增加“离线同步”和“实时同步（数据传输）”，离线开发中支持设置项目-集群粒度的离线同步专用队列，可以实现离线同步的任务用特定的队列执行。

  • 功能说明：注册Yarn队列时，适用场景改为：离线计算相关产品、实时计算、离线同步、实时同步（数据传输）

    • 离线计算相关产品：除离线传输、离线开发中的离线同步专用队列以外的所有离线场景选择队列时出现该选项。
    • 实时计算：实时计算仅作为标签，不影响在实时计算产品中使用该队列。
    • 离线同步：在数据传输的离线同步任务中选择队列时出现该选项，在离线开发的离线同步专用队列中出现该选项。
    • 实时同步（数据传输）：在数据传输的实时同步中选择队列时出现该选项。

2.离线开发支持对接Git

  • 功能介绍：
    • 离线开发支持对接Git，支持将任务节点、配置信息提交到Git仓库。
  • 功能使用步骤：
    • 离线开发配置中，支持以项目粒度绑定一个git仓库，支持配置Git仓库地址、SSH私钥、主分支、Git文件分组
      • Git仓库地址：支持填写Git仓库的地址
      • SSH私钥：支持填写Git仓库的SSH私钥
      • 主分支：根据输入的Git仓库和SSH私钥自动拉取所有分支，优先匹配main，如果没有则匹配master，如果没有则再匹配字典序asc第一个分支。
      • Git文件分组：
        • 不分组：平台长久使用后，任务量都会小于10,000的项目；
        • 任务标识首字母分组：平台长久使用后，任务量都会小于160,000的项目；
        • 任务标识哈希分组：支持进行自定义数量分组，平台长久使用后，任务量为n*10000时，则设置为n。”
    • 离线开发任务提交上线、编辑调度、取消调度，支持将任务节点、任务配置提交到git
      • 任务提交上线、编辑调度、取消调度时将会把任务资源提交到git上的任务目录，包含任务所有节点、任务系统文件、任务配置、作业资源、关联的jira和备注。 当任务提交到git无法操作成功或超时，支持通过报警渠道进行通知。

3.离线开发列表支持批量移动文件夹和任务

  • 功能介绍：
    • 离线开发支持移动文件夹，并且支持将文件夹和任务批量移动到新的位置。
  • 功能使用步骤：
    • 入口1：文件夹右键：移动目录，点击移动目录之后，支持选择新的位置。
    • 入口2：离线开发页面左上角，定位左侧增加“批量移动”的按钮。点击之后出现批量移动的弹窗，支持选择移动的任务/文件夹和新的位置，可以批量将文件夹或任务移动到新的位置。

4.注册队列、修改队列的工单迁移至新流协

  • 功能介绍：
    • 注册Yarn队列、修改Yarn队列、注册Impala队列、修改Impala队列的工单统一在新的流程协作中心进行审批，

5.离线开发新增达梦节点

  • 功能介绍：
    • 新增达梦节点，支持在离线开发中添加达梦节点，选择达梦数据源进行数据开发与任务调度。

6.自助分析新增达梦数据源

  • 功能介绍：
    • 自助分析支持达梦数据源.

7.自助分析新增TDSQL数据源

  • 功能介绍：
    • 自助分析支持TDSQL数据源。
功能优化

1.离线开发中的”数据同步“节点改名为“离线同步”

  • 功能介绍：
    • 离线开发中的“数据同步”节点改名为“离线同步”。

2.自助分析代码扫描规则报错优化

  • 功能介绍：
    • 自助分析中代码扫描规则异常时，将报错信息的位置由原来的运行日志处修改为在右侧规则异常处。

3.代码搜索的结果点击节点名称后打开节点详情

  • 功能介绍：
    • 代码搜索的结果中，点击节点名称支持在离线开发页面打开节点详情。

4.项目配额和个人配额支持区分物理配额和逻辑配额

  • 功能介绍：
    • 查看项目配额和个人配额查看存储配额信息支持查看物理配额和逻辑配额

5.支持删除CS队列

  • 功能介绍：
    • 平台管理员支持在平台项目管理页面删除CS队列。

6.自助分析的生成结果优化为结果文件

  • 功能介绍：
    • 自助分析原来的“生成结果”优化为“结果文件”，如果不需要下载结果，可取消勾选结果文件，提升运行速度。

7.自助分析oracle数据源下预览结果中针对timestamp和clob类型的展示优化

  • 功能介绍：
    • 针对oracle数据源，对于timestamp类型和clob类型的字段，自助分析预览结果中优化展示的格式。

8.用户更新角色信息数据库增加email等信息

  • 功能介绍：
    • 用户更新角色信息的数据库中增加email字段。

9.自助分析增加正在终止的状态

  • 功能介绍：
    • 自助分析执行终止后，由原来的直接返回执行失败改为监听hive的线程退出的时候再返回执行失败。

10.队列实际可用资源过小时任务提交失败

  • 功能介绍：
    • 当队列实际可用的cpu配额过小时，任务将提交失败。

11.报警设置的上报人支持设置

  • 功能介绍：
    • 编辑报警的上报人支持选择项目内的成员。

12.【离线开发&自助分析】数据源搜索问题优化

13.【自助分析】SparkSQL报错优化

版本：v7.1.1

新增功能

1.【支持发布中心的离线发布场景】公共资源-参数组，参数组增加参数组id显示

2.【支持发布中心的离线发布场景】项目中心-资源管理，增加显示Yarn集群标识信息

3.【支持发布中心的离线发布场景】离线开发任务，线上模式的任务的节点，右键可“查看节点标识”，并可复制节点标识的JSON

功能优化

1.【离线开发】提供接口支持发布中心

2.【离线开发】任务在锁定时暴露“任务发布”按钮

3.【支持发布中心】发布中心进行离线开发任务发布时，针对数据源的检测支持去重后校验

4.【支持发布中心】发布中心进行离线开发任务发布时，针对发布到线上模式时，增加非法质量监控任务会自动去除的提醒

实时计算

版本：v3.9.17

新增功能

1.任务运维checkpoint列表支持实时刷新。

  • 功能介绍：
    • 运维详情页 Checkpoint 列表升级为任务状态列表，支持展示运行中 Checkpoint 列表、历史 Checkpoint 列表、Savepoint列表，运行中 Checkpoint 列表自动定时刷新展示最新生成的 checkpoint。
  • 功能使用注意事项：
    • 运行中 Checkpoint 列表仅在任务运行状态为启动中、运行中、停止中、停止等待中、未知状态时进行本次运行的 checkpoint 展示，在其他状态下请查看历史 Checkpoint 列表。
  • 功能详细使用步骤：
    • 打开任务运维详情页-任务状态列表即可查看运行中 Checkpoint 列表、历史 Checkpoint 列表、Savepoint列表。

2.支持任务负责人和告警接收人批量转交。

  • 功能介绍：
    • 支持通过安全中心-权限治理-整体转交功能转交实时任务负责人和实时任务报警接收人。
  • 功能使用注意事项：
    • 仅项目负责人、管理员可操作转交当前项目下实时任务的任务负责人和报警接收人。
  • 功能详细使用步骤：
    • 项目负责人、管理员打开安全中心-权限治理-整体转交页面，勾选实时任务负责人和实时报警接收人，选择转交人和接收人。

3.新增任务窗口延迟指标监控。

  • 功能介绍：
    • 支持监控任务窗口延迟，包括窗口丢弃数据量、丢弃数据TPS、Watermark延迟。
  • 功能使用注意事项：
    • 仅任务中使用了窗口函数并出现窗口延迟后，窗口延迟监控有数据展示。
  • 功能详细使用步骤：
    • 打开任务监控页面即可查看窗口延迟监控。

4.实时开发页面左侧导航栏交互优化。

  • 功能介绍：
    • 调整实时开发页面层级结构，实时开发页面一级导航对应实时开发中各类资源管理页面，任务管理页面的左侧资源列表顶部目录对应资源快速查找列表目录。
  • 功能详细使用步骤：
    • 在资源管理场景下，用户使用页面一级导航前往各类资源管理页面。
    • 在任务开发场景下，用户使用任务管理页面中左侧资源列表顶部目录切换资源类型查找任务中需要使用的各类资源。

5.新增获取任务 Checkpoint/Savepoint 列表和获取任务列表的 Open API。

  • 详情请见 Open API 文档。
功能优化

1.自动启停支持配置时区。

  • 功能使用注意事项：
    • 启动日志或运行日志等日志中时间仍为服务器时间，不随此处时区调整变化。

2.Kafka流表序列化方式支持 ogg-json。

3.报警规则输入框增加输入值校验。

4.关闭 CDC 任务中实时传输已支持的源端为 MySQL、Oracle、Kafka，目标端为Kafka的创建入口。

Bug修复

1.修复运维大盘输入QPS和输出QPS数据有误的问题。

2.修复调试时不可使用不同名库下同名表的问题。

3.修复报错内容为服务器开小差的问题。

任务运维中心

版本：v1.9.2

功能优化

1.补数据支持选择是否执行质量监控任务

  • 功能介绍：
    • 补数据设置中支持是否执行质量监控任务，当选择执行质量监控任务时，通知条件可以选择是否要接收质量检测失败或质量检测异常的通知。

2.批量操作返回弹窗内容优化

  • 功能介绍：
    • 在任务运维中心进行批量重跑、终止实例等操作时，增加返回弹窗的优化，展示任务或实例的提交进度与结果，并支持终止提交。

3.周期实例列表支持不显示嵌套实例

  • 功能介绍：
    • 嵌套流节点引用的任务会在嵌套流节点线上调度执行、重跑和补数据时会生成对应的实例，原先这部分实例会显示在周期实例列表中，此次升级后，将默认不展示这部分实例，用户可手动开启开关展示。

UDF Studio

版本：v1.1.1

新增功能

1.适用产品支持安全中心

  • 功能介绍：

    • 适用产品支持安全中心，可统一安全中心侧使用脱敏的函数，并可在UDF详情页查看在安全中心脱敏规则的引用详情。

安全中心

版本：v3.10.0

新增功能

1.支持敏感类型级别设置字段排除策略

  • 功能介绍

    • 敏感类型配置支持字段排除，在输入框中输入需要排除的正则表达式，符合字段排除规则的字段将不会被该识别规则命中，匹配字段格式为：db.table.column

  • 功能使用注意事项

    • 字段排除策略不影响历史的敏感类型打标，配置后对下一次识别任务生效

  • 功能详细使用步骤

    • 功能入口：安全中心-数据保护-敏感类型

    2.数据识别支持与上一次结果比对

  • 功能介绍

    • 支持查看本次识别结果与上次结果是否有变化已经变化详情 。可查看本次结果新增字段（本次识别出但上次未识别出的敏感字段）、本次结果更新字段（本次与上次识别的敏感类型结果不同）、本次结果减少字段（上次识别出但本次未识别出的敏感字段）

  • 功能详细使用步骤

    • 功能入口：安全中心-数据保护-数据识别-数据识别结果

    • 首次查看变化详情时先点击右上角检测按钮，检测完毕之后点击查看进入对比详情页，可查看本次结果与上次结果、本次结果与已生效结果的差异项

3.表的写、改、删权限支持主动申请

  • 功能介绍

    • 权限申请支持表的写、改表、删表权限

  • 功能使用注意事项

    • 申请写权限将联动申请读权限

  • 功能详细使用步骤

    • 功能入口：安全中心-权限申请
    功能优化

1.脱敏规则支持选择UDF Studio 中的UDF

  • 功能介绍：

    • 脱敏规则支持选择UDF Studio 中的UDF，仅适用于数据传输中的静态脱敏

  • 功能使用注意事项

    • 仅支持选择当前用户有权限的UDF，适用产品为安全中心的函数

  • 功能详细使用步骤

    • 功能入口：安全中心-数据保护-脱敏规则

数据资产地图

版本：v2.11.0

新增功能

1.支持全链路血缘，打通表、业务系统、指标、标签、API和报告血缘

  • 功能介绍：

    • 之前的表血缘支持展示表和表、API、报告的血缘，本次升级后打通了表的全链路血缘，表血缘可以向上追溯到表的业务系统，向下可以下钻到最终的应用如API和报告，另外也可在血缘图中查看表和指标、标签的血缘。若表在模型设计中心或者元数据管理模块中，用户给表字段绑定了指标，则血缘图中可展示表下游关联的指标；若表在标签画像或者元数据管理模块中，用户给表字段绑定了标签，则血缘图中可展示表下游关联的标签。通过在血缘图中查看表的上下游关联信息，用户可以评估表的血缘来源和下游影响范围。

  • 使用步骤：

    • 在地图搜索查看某张表，点击查看数据血缘tab页，即可查看表血缘。

2.字段血缘支持可视化DAG模式和展示多层上下游血缘

  • 功能介绍：

    • 之前旧版字段血缘仅能查看上下游1层血缘，不满足用户多层血缘探查的需求，且没有直观的DAG图来展示字段血缘关系。另外旧版血缘中默认展示断言血缘容易误导用户，综上，需要对旧版字段血缘进行重构。本次新版字段血缘重构后主要功能如下
      • 支持可视化DAG图模式来清晰直观地展示字段间的血缘关系
      • 支持展开上下游多层字段血缘，方便用户追溯来源和下游影响链路
      • 支持默认查看映射血缘，也可以开启查看断言血缘，并且断言血缘有标识区分
      • 支持查看字段间的影响逻辑，可展示断言和映射的血缘逻辑
      • 支持按照表分组展示关联的字段血缘，可以展开和收起表

  • 使用步骤：

    • 在地图搜索查看某张Hive表，点击查看数据血缘tab页下的字段血缘，即可查看字段血缘信息。

3.资产目录新版重构

  • 功能介绍：

    • 旧版资产目录页面承载的信息量不足（最多查看6个二级目录），且不支持搜索目录和按目录交叉筛选数据，无法满足用户需求，故对资产目录进行改版。新版的资产目录主要功能包括
      • 支持查看和搜索目录
      • 支持多套目录间组合交叉筛选表资产
      • 资产目录仅包括已发布的资产，方便业务人员查看和使用质量高的表资产

  • 使用步骤：

    • 在管理人员已经构建好资产目录且挂载相应的表资产后，地图的所有用户均可直接查看资产目录信息。
功能优化

1.元数据治理OpenAPI增强

  • 功能介绍：

    • 元数据治理OpenAPI支持批量新建和更新表的安全等级等属性，本次新增支持更新表和字段的更多属性信息，方便用户对存量数据快速通过OpenAPI来进行治理。
  • 注意事项：
    • 不同更新策略需要传入参数不同，更新表和字段的不同属性传入参数要求也略有不同，具体需要仔细参考OpenAPI文档。
  • 使用步骤：
    • 详见OpenAPI文档。

数据质量中心

版本：v3.4.0

新增功能

1.质量报告订阅模板支持根据批量监控任务配置范围

  • 功能介绍

    • 质量报告订阅模板支持选择数据范围覆盖方式，可以根据质量监控任务覆盖也可以根据库表范围覆盖

  • 功能使用注意事项

    • 选择根据质量监控任务覆盖，支持选择报告覆盖的任务资源目录范围，联动选择目录下的任务

  • 功能详细使用步骤

    • 功能入口：质量报告-报告订阅模板

2.数据质量监控支持达梦数据源（版本8.1 、8）

  • 功能介绍

    • 质量监控任务支持选择达梦数据源作为监控对象，并适配规则模板

  • 功能使用注意事项

    • 达梦数据源质量监控暂不支持查看异常数据样本和异常数据存储

  • 功能详细使用步骤

    • 入口：任务列表-质量监控

3.质量监控、数据比对、形态探查任务负责人对接安全中心资产交接

  • 功能介绍

    • 对接安全中心权限治理整体转交，实现一键修改任务负责人

  • 功能使用注意事项

    • 整体转交仅项目管理员负责人可操作

  • 功能详细使用步骤

    • 入口：安全中心-权限治理-整体转交-项目级 勾选相应资源，点击批量转交
    功能优化

1.质量监控任务支持选择iceberg表

  • 功能使用注意事项

    • iceberg表若想查询异常数据样本，必须开启异常数据存储功能且设置为同步存储

2.形态探查、数据比对、质量监控过滤struct/map/array类型的字段

  • 功能介绍

    • 形态探查、数据比对、质量监控暂不支持struct/map/array类型的字段，此版本进行过滤并增加文案提示

3.监控任务详情规则列表支持根据全部、规则编码、规则名称搜索规则，并支持url跳转时可以定位到搜索后的结果

  • 功能使用步骤

    • 功能入口：任务列表-质量监控-规则列表

4.异常数据支持同步存储

  • 功能介绍

    • 存储异常数据样本开关打开时，展示勾选框 运行质量监控任务时同步存储异常数据

    • 勾选同步存储，将在运行质量监控任务时同步写入异常数据，写入失败会导致监控任务失败，适用于监管报送等需要依赖异常数据做进一步加工处理的场景

    • 不勾选同步存储，将在质量监控任务运行结束后写入异常数据，写入失败不影响监控任务状态，适用于传统质量稽核，不需要或者不依赖异常数据等场景

  • 功能使用步骤

    • 功能入口：任务列表-质量监控

数据服务

版本：v1.6.6

新增功能

1.对接发布中心支持导出功能。

  • 功能介绍：

    • 对接发布中心，支持在发布中心选择API进行异构环境的导入导出。。

  • 功能使用注意事项：

    • (1)API默认仅可导入到线上模式，但不会将接收方的线上已有的API进行覆盖，对于发布中心中"导入到开发模式"的功能不支持；

    • (2)根据接收方API不同采取不同的发布策略，若接收方为非发布态，则发布方将覆盖接收方API配置；若接收方为发布态，则发布方的API将作为接收方API的升级版本；

    • (3)由于数据服务以项目为管理单位，若发布方和接收方为同一个平台下的同一个项目下的API，执行发布操作时将被忽略不执行发布；

    • (4)为保证API调用地址和API集合、名称等的一致性，API集合名称和集合path均需保持一致才可成功发布；

    • (5)支持在发布中心配置数据源映射，若未配置数据源映射，则根据发布方和接收方的数据源名称，按照同名规则进行替换；

    • (6)资源组暂不支持配置映射关系，将根据发布方和接收方的资源组名称，按照同名规则进行替换，否则置空资源组；

    • (7)发布方和接收方API处于相同集合(集合名称和集合path均相同)，且API的名称和API path也均相同，则支持导入，且根据接收方的API状态，选择进行覆盖或者作为升级版本；

    • (8)发布方和接收方API处于不同集合，均支持导入；

    • (9)若导入的是服务编排类型的API，由于引用的原子API基于API ID进行判断，异构环境下无法保证一致，故编排中原子API需在接收方重新选择；

    • (10)若导入的API含有后置参数处理，若通过jar包的方式，则支持将Jar包一并导入到接收方，若通过UDF Studio的方式，则UDF函数将置空，需在接收方重新选择。

    • (11)在数据服务侧，若API有升级/回滚版本，支持在列表中通过点击最前面的收起、展开按钮查看，可对升级/回滚版本进行编辑或者删除。

2.报警规则支持配置错误数报警。

  • 功能介绍：

    • 新建报警策略，增加调用失败次数的报警类型，支持配置xx分钟内出现yyy次调用失败的报警规则。

  • 功能使用注意事项：

    • 若数据服务开启了细粒度监控，统计时间为1分钟内，调用失败次数可配置大于1分钟的时间；若数据服务未开启细粒度监控，仍使用的是粗粒度的监控，统计时间默认为5分钟，则调用失败次数默认仅可配置5分钟内出现yyy次调用失败。

3.对接安全中心，支持转交API负责人功能

  • 功能介绍：

    • 支持数据服务API负责人字段，且对接安全中心权限治理模块，支持对API负责人进行转交。

  • 功能使用注意事项：

    • 数据服务API增加负责人字段，相对应调整的内容包括：

      • (1)API集市的审批人默认由原本的创建人变为API的负责人，且由于在流协侧支持修改画布可能会更改审批人，故API集市中申请弹窗不显示审批人，可至流协工单中查看；

      • (2)默认权限需要注意的是，原本API的创建人默认对自己创建的API有全部权限，若负责人没有转交，负责人同创建人，仍有全部权限，但若将API的负责人进行了转交，则API的负责人对API有全部权限。

流程协作与通知中心

版本：v2.3.11

功能优化

1.审批意见调整为非必填

  • 功能介绍：
    • 在审批操作时，审批意见由原先必填调整为非必填。

2.队列相关申请工单迁入新流协

  • 功能介绍：
    • 注册、修改Yarn队列和Impala队列的模板由老流协迁至新流协，后续用户可以直接在新流协中对相关工单进行查看和审批等操作。

3.批量审批的返回弹窗优化

  • 功能介绍：
    • 批量审批时新增弹窗，支持查看操作进度。

发布中心

版本：1.1.0

新增功能

1.“离线开发任务”类型的资源支持按照任务所在文件夹筛选

  • 功能介绍：
    • 在资源列表，以及批量创建发布包的页面，“离线开发任务”类型的资源，支持按照文件夹过滤列表中的任务。
    • 文件夹范围显示控制：操作者有提交上线权限的任务的所属文件夹及父文件夹，以及有提交上线权限的文件夹及父文件夹，以及自己是创建人的文件夹及父文件夹；对于项目负责人、管理员、平台管理员，显示所有文件夹。

2.支持资源离线发布

  • 功能介绍：
    • 当前版本新增了资源导出导入功能，尤其是针对网络隔离的多个平台间有资源发布需求的，可通过该功能实现资源跨环境发布。

3.发布记录中新增展示“离线导入”发布包的发布记录

  • 功能介绍：
    • 原先的版本仅会展示在线发布生成的发布包的发布记录，此次增加了离线导入的发布包的发布记录。

4.发布实例包中新增展示“离线导入”发布包的发布实例包

  • 功能介绍：
    • 原先的版本仅会展示在线发布生成的发布包的发布记录，此次增加了离线导入的发布包的发布实例包。

5.配置管理-发布策略中新增“离线发布”的策略类型

  • 功能介绍：
    • 当前版本支持网络隔离场景下，2个平台间的资源发布。可在发布策略中配置“离线发布”类型的策略，在接收方导入的发布包，可选择该类型的发布策略进行发布。
    • 策略详情中，支持配置和“在线发布”类型的发布策略一样的映射信息，包括：项目映射、任务依赖映射、参数组映射、资源组映射、数据源映射、队列映射、Hive库映射。
    • 配置映射时，发布方的配置都需要手动配置，具体的id、标识、名称等，需要从发布方获取。在相应配置的“问号”图标中也会说明获取的途径。

6.配置管理中发布策略和接收策略可进行绑定和联动更新

  • 功能介绍：
    • 在接收策略中新增“接收策略”，即可推送到发布方的“发布策略”菜单中。新接收的发布策略，默认不生效。发布策略开启生效后，即可在发布方发布时启用。
    • 发布方和接收方修改基本信息时，会互相进行同步。
  • 注意事项：
    • 当前版本新升级时，发布方和接收方默认没有进行自动同步，建议先手动在页面上进行数据同步
    • 否则，会出现接收策略的“绑定的发布策略”，或者发布策略的“绑定的接收策略”为空的情况（不影响历史发布策略的使用）

7.发布策略支持设置默认项

  • 功能介绍：
    • 在之前的版本中，发布包发布时选择发布策略，策略的部分配置项都是系统默认的配置，该版本支持在策略粒度配置默认项，包括“工单审批通过后设置”的默认设置、“资源负责人设置”的默认设置、“已有资源负责人保持”的默认设置。
    • 发布策略，新增工单自动审批功能，配置为自动审批后，发布包发布时，如果选择该策略，则当前版本不会自动生成工单，直接在接收方导入发布实例包（后续版本会正常产生工单，但是会自动审批通过）。
功能优化

1.发布配置-发布策略，“在线发布”类型的发布策略详情中优化了搜索和表头说明文案

2.资源列表，离线开发任务支持跳转到离线开发详情页，Hive表支持跳转到数据资产地图表详情页

3.创建发布包，创建时支持配置创建完成后，快捷跳转至发布页面、发布包详情页面、资源列表的策略

  • 功能说明：
    • 资源列表中对单资源创建发布包，或多选资源并点击“前往创建”发布包，或发布池发布，支持在创建时选择如下选项：前往发布、前往详情、返回资源列表。满足不同场景下的跳转需求。

4.发布包列表和详情，增加发布包大小的内容展示

5.发布包发布，详情页“检测详情”展示优化

  • 功能说明：
    • 优化展示的内容，调整为每个发布策略独立展示
    • 支持在每个发布策略下，按照检测项结果、资源类型筛选

6.发布实例包，详情页优化

  • 功能说明：
    • 资源类型支持筛选“全部”
    • 支持显示资源类型的图标
Bug修复

1.修复同集群跨项目发布时，同时发布2个新任务到接收方，下游任务会发布失败的问题

  • 原问题说明：同集群跨项目发布，prd_send1项目下2个新的任务，上游任务“flow1”，下游任务“flow2”，同时发布到prd_receive2项目，同时批量发布时，“flow1”发布成功，“flow2”发布失败。

2.修复发布的任务存在跨项目任务依赖时，发布检测中的上游项目信息显示为发布方的问题

  • 原问题说明：

    • 发布方项目：prd_send1，prd_send2
    • 接收方项目：prd_receive1，prd_receive2
    • 发布方的任务：prd_send1的离线开发任务flow1，依赖prd_send2的离线开发任务flow2
    • 发布策略：prd_send1发布到prd_receive1，且发布策略中配置了prd_send2到prd_receive2的项目映射
    • 问题：flow1发布时，检测详情中检测项提示的是prd_send2的flow2
    • 修复结果：调整问题，显示为检测的是prd_receive2的flow2

控制台

版本：v1.3.7

新增功能

1、【数据源管理】数据源登记新增类型：TelePG

  • 功能介绍：
    • 支持TelePG数据源类型，支持版本为：42.2.9

  • 功能使用详细步骤：功能入口
    EasyData-V7.0-Update11 - 图5

    功能优化

1、【数据源管理】Hive新增版本：2.1.x-CDH6.3.x

  • 功能介绍：
    • 数据源登记支持基于HiveMetaStoreDB连接数据，认证方式支持用户名密码认证（LDAP）

2、【数据源管理】HBase新增版本：2.1

  • 功能介绍：
    • HBase新增版本2.1

标签画像

版本：v3.7.2

新增功能

1.支持标签元数据批量更新的openapi

  • 功能介绍：

    • 提供Openapi接口，支持对部分标签系统字段和自定义字段进行批量更新。

2.对接安全中心访问控制权限

  • 功能介绍：

    • 在安全中心项目组级别，支持对标签画像访问权限进行控制，若未赋权标签画像的访问权限，则点击导航栏的标签画像，无法访问产品。

  • 功能使用注意事项：

    • 在赋权标签画像新建、编辑标签等权限时，需要先赋权标签画像的产品访问权限。

3.支持推送标签和表字段血缘至地图侧展示

  • 功能介绍：

    • 支持将表和标签的关系推送至数据地图侧，在数据地图的血缘链路上可查看表和标签的关系。

  • 功能使用注意事项：

    • 标签画像侧，仅行为标签和基础标签和表字段有直接关联，推送的血缘信息仅包含行为标签和基础标签的内容。