数据传输

版本：v3.10.0

新增功能

1.【离线同步任务】创建Hive表时支持启用表名规则校验

  • 功能介绍：
    • 配置管理-快速创建表配置模块：当前项目启用表名规则开关打开时，在当前项目-集群创建Hive表时，会引用模型设计中心“原数据层-ods”对应集群的表名规则进行表名规则检测。
    • 表名规则检测范围包含：1、离线同步任务中，数据去向为Hive的“快速创建表”功能，2、批量创建任务，数据去向为Hive时创建的表。
  • 功能使用注意事项：
    • 配置管理-快速创建表配置模块：“启用表名规则”开关针对当前项目下所有集群均生效。
    • 在某个项目-集群的离线同步任务创建Hive表时，如需引用模型设计中心“原数据层-ods”对应集群的表名规则进行表名规则检测，需要满足两个条件：1、当前项目的“启用表名规则”开关打开，2、当前项目-集群所属的项目组-集群的模型设计中心“原数据层-ods”表名规则状态为启用。
  • 功能详细使用步骤：
    • 配置管理-快速创建表配置模块：开启“启用表名规则”开关。注意：仅项目负责人和项目管理员可编辑配置管理模块。
    • 离线同步任务：编辑任务（数据去向为Hive）-快速新建目标Hive表，点击“生成SQL语句“和”执行“按钮时，将校验表名称是否符合表名规则。
    • 离线同步任务：批量新建任务（数据去向为Hive）-生成表配置，点击“生成SQL语句“和”执行“按钮时，将校验表名称是否符合表名规则。

2.【实时同步任务】任务支持引用参数组

  • 功能介绍：
    • 实时同步任务支持引用参数组，用于1）任务导入导出时对库名、Topic名等进行替换，2）任务常用的高级配置-自定义参数配置为参数组，可实现不同任务间的自定义参数复用。
  • 功能使用注意事项：
    • 同一实时同步任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值。
    • 如果字段映射支持的内置变量与参数组参数冲突时，内置变量优先级更高。
    • 如果高级设置填写的参数与参数组参数冲突时，则高级设置填写的参数优先级更高。
    • 如果导入引用参数组的实时同步任务时，会检测导入端是否存在同名参数组，如不存在则检测不通过，导入失败。如导入端存在同名参数组，则在导入端会将任务引用的参数组id替换为导入端同名参数组的id。
  • 功能详细使用步骤：
    • 公共资源-参数组模块：新建参数组，设置参数名称和参数值
    • 数据传输-实时同步任务：“引用参数组”配置项选取需引用的参数组。
      • 1）如参数组的使用场景是：任务常用的高级配置-自定义参数配置为参数组，可实现不同任务间的自定义参数复用，则“引用参数组”配置项选取需引用的参数组即可。
      • 2）如参数组的使用场景是：任务导入导出时对库名、Topic名等进行替换，除“引用参数组”配置项选取需引用的参数组外，请在使用变量处按照${参数组名称}的格式填写参数组参数。示例详见下图。支持使用参数组参数的位置包含:
        • 数据来源：1、数据源类型为Kafka-【topic名称】，2、任务类型为多表同步，数据源类型为MySQL、Oracle、TeleDB、SQLServer-【数据库名称】，3、任务类型为多表同步或分库分表同步，数据源类型为Oracle，增量读取方式为ogg-【Topic名称】
        • 数据去向：1、数据源类型为Kudu-【去向表名】，2、数据源类型为Iceberg、Arctic、Hive-【去向库名】和【去向表名】，3、数据源类型为Kafka-【去向Topic】
        • 字段映射：数据去向为Kudu、Iceberg、Arctic、Hive时，来源表字段类型为自定义表达式时，支持填写参数组参数

3.【实时同步任务】插件版本为1.x的任务，支持升级插件版本至2.x

  • 功能介绍：
    • 相较于1.x的插件版本，实时同步任务2.x的插件版本支持了更丰富的产品功能（如：数据来源支持TelePG等）。此前，插件版本为1.x的历史任务不可升级插件版本，此版本提供了升级插件版本的功能。
  • 功能使用注意事项：
    • 仅当插件版本为1.x且任务状态为：未启动、停止、启动失败、运行失败的任务，支持升级插件版本。
    • 由于1.x和2.x插件版本的任务状态不兼容，升级插件版本后首次启动任务时，如选择“从CP启动”或“从SP启动”，任务运行可能会报错。因此，升级插件版本后首次启动任务时，启动点位请选取“从指定数据位点启动”，启动方式建议选取“从SP对应的数据位点启动”，保障数据的完整性。如此前任务停止时未保存SP，则建议选取“从CP对应的数据位点启动”并建议选取时间较早的CP目录，避免数据丢失。
  • 功能详细使用步骤：
    • 点击“停止”按钮停止任务。注意：切记勾选“触发SavePoint保存运行状态“。
    • 点击“升级插件版本”按钮并确认升级，任务的插件版本将会由1.x升级至2.x。
    • 点击“启动”按钮，启动点位选择“从指定数据位点启动”。启动方式建议选取“从SP对应的数据位点启动”，保障数据的完整性。如此前任务停止时未保存SP，则建议选取“从CP对应的数据位点启动”并建议选取时间较早的CP目录，避免数据丢失。

4.【实时同步任务】提供启动任务和停止任务的OpenAPI

  • 功能介绍：
    • OpenAPI使用说明详见OpenAPI说明文档。
功能优化

1.【离线同步任务】MongoDB作为来源时支持自定义字段类型

  • 功能介绍：
    • MongoDB作为来源时，原仅支持由MongoDB Reader插件在执行任务时自动采样推断字段类型，存在字段类型推断不准确导致任务报错的风险。故此版本开放字段类型定义方式，支持由用户在配置任务时自定义字段类型，并提供根据采样数据解析字段类型的辅助功能，提升自定义字段类型的配置效率。
    • 字段类型定义方式为“自定义字段类型”时，支持配置空字段处理策略，即当一条数据解析时，数据内容中找不到字段时的处理方式采取任务报错或设为null数据。
  • 优化后功能使用步骤：
    • 点击“数据解析”按钮，将自动从选取的MongoDB集合中获取一条数据并填充至数据解析弹窗的样例数据输入框，点击“解析”按钮即可解析字段名称和字段类型并填充至表格。如系统自动获取的数据不符合预期，也支持由用户手动输入数据样例。

2.【离线同步任务】MongoDB适配版本：3.0、6.0

3.【离线同步任务】TDSQL适配版本：10.3.14(MySQL 8.0)

4.【离线同步任务】Redis新增版本：3.0（集群部署模式：single）、3.2（集群部署模式：single）、5.0（集群部署模式：single）

5.【离线同步任务】ES作为数据去向时支持配置“主键取值方式”

  • 功能介绍：
    • ES作为数据去向时支持配置“主键取值方式”：取值方式为手动指定主键字段时，由用户指定选取ES的哪个字段作为主键；取值方式为自动生成时，主键值在写入ElasticSearch时由系统自动生成。
    • 历史任务的“主键取值方式”默认为“手动指定主键字段”。

版本：v3.9.2

新增功能

1.【离线同步任务】数据去向为FTP、目标文件名为指定文件名时，支持根据来源表字段动态生成文件

  • 功能介绍：
    • 指定文件名支持填写来源表字段名称，格式：${ 来源表字段名称 }（注意：来源表字段名称前后带空格）。其中，${ 来源表字段名称 }变量支持填写来源表字段名称和Hive表的分区字段名称，任务运行时如发现来源表不存在该字段，任务运行时会报错。
    • 示例：指定文件名输入userinfo_${ dt }，来源Hive表为一级分区表。当读取来源Hive表dt=2023-01-01分区的数据，对应的FTP文件名为userinfo_2023-01-01。

2.【离线同步任务】批量新建任务，数据来源为Hive、数据去向为FTP、目标文件名为指定文件名时，支持内置变量

  • 功能介绍：
    • 支持填写内置变量：${source table}、${primary partition}、${secondary partition}、${tertiary partition}。其中${source table}表示来源表表名，${primary partition}、${secondary partition}、${tertiary partition}仅当来源为Hive表时生效，分别表示一级分区、二级分区、三级分区的值。
    • 批量创建任务时，会将内置变量${source table}解析为来源表名，会将内置变量${primary partition}、${secondary partition}、${tertiary partition}中“primary partition”、“secondary partition”、“tertiary partition”解析为来源Hive表的对应分区字段名称（字段名称前后包含空格）。如来源不是Hive表或Hive表不存在对应级别的分区，则批量创建任务时解析时变量值为空。
    • 示例：指定文件名输入ods${source table}${primary partition}${secondary partition}，来源Hive表为一级分区表，表名为userinfo，一级分区名为dt。当批量创建任务时，指定文件名会解析为：ods_userinfoa${ dt }_。

版本：v3.9.1

新增功能

1.【实时同步任务】数据来源为Oracle、增量读取方式为logminer时，传输起始位点支持：指定scn

  • 功能介绍：
    • 任务类型为多表同步或分库分表同步、增量读取方式为logminer时，传输起始位点支持：指定scn

2.【实时同步任务】数据来源为Oracle时，支持配置数据库时区

  • 功能介绍：
    • 数据来源为Oracle时，支持配置数据库时区
功能优化

1.【实时同步任务】数据来源为Oracle时，监控新增“数据捕获延迟”指标，并支持针对“数据捕获延迟”指标发送告警

  • 功能介绍：
    • 数据来源为Oracle时，监控新增“数据捕获延迟”指标，并支持针对“数据捕获延迟”指标发送告警。
    • 数据捕获延迟=任务处理时间-scn扫描时间

数据标准

版本：v2.1.4

新增功能

1.提供原始字典和标准字典分类目录创建的OpenAPI

  • 功能介绍

    • 提供原始字典和标准字典分类目录创建的OpenAPI，以便用户通过OpenAPI可以快速批量地实现分类创建

  • 注意事项

    • 无，按OpenAPI标准文档操作即可

  • 使用步骤

    • 详见OpenAPI文档

指标系统

版本：v2.8.7

新增功能

1.支持查看指标对应的技术口径负责人

  • 功能介绍：给数据地图提供接口，能够根据给定的指标集合获取到对应指标的技术口径负责人信息

模型设计中心

版本：v1.8.5

新增功能

1.支持建表/修改表设置业务负责人

  • 功能介绍

    • 新增表业务负责人字段，用户在建表、修改表时可以设置表业务负责人。在“数仓配置-默认项配置”中可以设置表业务负责人字段是否必填，表业务负责人可以是该项目组下的任一用户。

  • 注意事项

    • 默认仅“项目组负责人”和“数据团队管理者”角色有“数仓配置-默认项配置”模块的编辑权限。
  • 操作步骤
    • 第一步：在“数仓配置-默认项配置”模块下设置表业务负责人是否必填，默认非必填，该步骤可按需是否操作
    • 第二步：建表填写表业务负责人即可

2.支持提供查询和检测ODS层表命名规范内部接口给子产品调用

  • 功能介绍

    • 数据传输自动建表模块需要能支持查询和检测ODS层表的命名规范，故模型设计中心新增查询和检测ODS层表命名规范内部接口给子产品调用。

  • 注意事项

    • 仅内部调用接口，用户无需感知。

3.支持建表时配置通知对象

  • 功能介绍

    • 用户在建表时可以设置是否需要通知指定对象，支持设置通知方式和通知对象名单，当建表成功后会发送对应消息和指定人员。

  • 操作步骤

    • 进入模型建表页面即可。
功能优化

1.表名长度扩大

  • 功能介绍

    • 之前用户在建表时，表名长度超过64位则无法建表，故本次优化后支持将表名长度扩大到128位。

  • 注意事项

    • 不同数据源类型或版本，数据库能支持的表名最大长度略有不同。

2.SQL和DML模式下返回增加保留提醒

  • 功能介绍

    • 之前用户反馈在建表书写SQL语句时，返回上一步没有任何提醒，故产品本次优化后新增返回提醒的弹框。

  • 使用步骤

    • 进入SQL配置或者DML配置页后，返回上一步则会出现返回提醒的弹框。

离线开发

版本：v7.1.4

新增功能

1.支持禁用项目

  • 功能介绍：
    • 平台管理员支持禁用项目，禁用前将会检测是否存在已调度的离线开发任务，如果存在将不能禁用项目。项目被禁用后，将无法在页面上进入项目，项目的数据不会清理。

  • 功能使用步骤：

    • 步骤一：在平台管理的项目管理中，支持对项目进行禁用。
    • 步骤二：点击禁用后，将检测离线开发中是否存在已调度的任务，如果存在，则不能禁用项目，需要先取消调度才能禁用。

  • 注意事项：

    • 该功能默认关闭，开启方式为：在easyops上将参数mammut.product.soft-delete.enable改为true。

2.离线开发支持设置任务命名规范

  • 功能介绍：
    • 支持在离线开发中设置任务的命名规范，支持根据文件夹设置前缀或后缀，新建任务时将按照设置的命名规范进行命名。
  • 功能使用步骤：
    • 步骤一：离线开发设置中，项目-集群配置的基础配置中，增加离线开发任务命名规范，支持添加分组，圈选一级文件夹，设置前缀或后缀。
    • 步骤二：新建任务时，由原来的先输入任务名称再选择保存位置调整为先选择保存位置再输入任务名称，如果选择的保存位置设置了命名规范，则在保存位置下方将展示设置的前缀或后缀，仅支持输入任务名称主体。
    • 步骤三：复制任务、重命名任务时也将根据选择的文件夹中设置的规范展示对应的任务名称。移动目录和提交上线时将检测任务名称是否符合规范，如果不符合，将阻断移动或提交。

3.Yarn队列支持跨项目共享

  • 功能介绍：

    • Yarn队列支持授权给同集群同项目组下的其他项目，队列授权后，可以在被授权的项目中使用队列执行。

  • 功能使用步骤：

    • 步骤一：注册Yarn队列时，支持将队列授权给其他的项目，只能选择同集群同项目组下的其他项目。
    • 步骤二：授权给其他项目之后，支持将队列授权给当前项目中的成员或角色，有权限的成员选择队列时可以使用被授权的队列。如果权限回收后被授权的项目中使用该队列的线上任务将会执行失败。如果集群开通了测试功能，当队列授权了其他项目，测试队列同样页会授权给对应的项目。

4.【自助分析】下载数据上限支持流程审批

  • 功能介绍：
    • 自助分析支持设置下载行数超过上限的审批策略，并支持自定义下载行数的上限。

  • 功能使用步骤：

    • 步骤一：自助分析配置管理的数据下载审批配置中支持设置下载行数超过上限的策略，支持选择集群、下载行数上限、审批级数、审批人。
    • 步骤二：下载结果时如果下载行数超过了设置的下载行数上限，将生成一个工单，工单审批通过后，可以下载数据。

  • 注意事项：

    • 当同时命中多个审批策略时，优先级为：安全等级的策略>下载行数超过上限的策略>所有数据的策略。

5.【离线开发】编辑报警触发规则增加运行开始和运行完成

  • 功能介绍：
    • 离线开发编辑报警时支持设置任务和节点运行开始和运行完成的报警，可以满足用户及时了解任务启动和完成的信息，能够把握数据处理的进度。

6.【离线开发】代码扫描增加不存在insert操作的规则

  • 功能介绍：
    • 离线开发代码扫描规则中增加规则：未使用"insert"关键字。指未使用insert关键字，其中对于包含alter、create、drop临时表以及load data的不作提醒。

7.【离线开发】离线设置调度时支持设置任务自动重跑

  • 功能介绍：
    • 离线开发设置调度时支持设置任务自动重跑，可以实现任务执行失败时自动重跑整个任务。
  • 功能使用步骤：
    • 编辑调度中，在失败设置下方增加任务自动重跑的开关，开启后，支持设置重跑次数和重跑间隔，当任务执行失败时，将自动重跑整个任务。

8.【离线开发】数据质量监控任务支持引用参数组参数

  • 功能介绍：
    • 数据质量监控任务支持引用参数组参数，在参数组的引用详情中支持查看引用的数据质量监控任务。
功能优化

1.【自助分析】query命名优化

  • 功能介绍：
    • 自助分析的query进行重命名时，支持提示字符上限以及已输入的字符个数，并支持点击回车键保存query名称。

2.【自助分析】下载结果审批流程工单中支持查看预览结果内容

  • 功能介绍：
    • 自助分析下载审批工单中增加下载字段和预览结果的字段，且预览结果支持审批人和申请人查看。

3.【配合发布中心】离线开发任务的发布策略“资源发布失败策略”调整

  • 功能介绍：
    • “资源发布失败策略”选择“自动跳过”，则离线开发任务发布失败时自动跳过失败资源，继续发布剩余待发布资源； “资源发布失败策略”选择“终止发布”，则离线开发任务资源发布失败时终止发布，不再发布剩余待发布资源。

4.【配合发布中心】离线开发任务的检测项文案修改

  • 功能介绍：
    • 检测分类为：数据识别任务引用时，详情原文案“发布方数据识别任务信息不完整”改为“发布方不存在该id的数据识别任务”。
    • 检测分类为：质量监控任务引用，详情原文案“发布方质量监控任务信息不完整，实际导入时不会导入该引用”改为“发布方不存在该id的质量监控任务，实际导入时不会导入该引用”。
    • 检测分类为：“数据同步”节点引用的离线同步任务，详情原文案“发布方离线同步任务信息不完整”改为“发布方不存在该id的离线同步任务”.

5.【配合发布中心】轮询节点增加“数据源引用”检测分类

  • 功能介绍：
    • 如果发布策略已针对发布方引用的数据源配置数据源映射，则按照映射关系查找接收方数据源。如接收方存在该数据源则检测通过，发布时进行数据源替换；如数据源不存在则检测不通过。
    • 如果发布策略已针对发布方引用的数据源配置数据源映射，则查找接收方同名数据源。如数据源存在同名数据源则检测通过，发布时进行数据源替换；如数据源不存在则检测不通过。

6.【配合发布中心】嵌套流节点增加“嵌套流节点引用的任务”检测分类

  • 功能介绍：
    • 针对嵌套流节点引用的嵌套任务，按照“uuid>project>任务名称”的优先级来识别接收方是否线上模式是否存在对应的任务。如不存在，则检测不通过；如存在，则检测通过，发布时将嵌套任务替换为接收方对应的project标识。

7.CDH集群的队列支持修改适用场景和授权项目

  • 功能介绍：
    • 针对CDH集群的Yarn队列，支持修改使用场景和授权的项目。

8.删除Hive库和删除Yarn队列增加文案提示

  • 功能介绍：
    • 删除Hive库和Yarn队列时增加文案提示：针对CDH集群，Hive库和Yarn队列的数据不会清除，仅移除绑定关系；针对NDH集群，删除Hive库和Yarn队列之后，数据将会清除。

9.【自助分析】项目和项目组共享query支持人粒度的隔离

  • 功能介绍：
    • 对于项目级和项目组级的共享query，运行时支持个人粒度的隔离，在运行结果和运行历史中只能看到个人运行的结果，且用户运行query时不影响其他用户运行。 10.【配合数据传输】接口优化用于数据传输文件下载 11.【离线开发】代码扫描复杂语法解析问题修复 12.【离线开发】质量监控，修改历史显示与编辑报警显示不一致，缺少接收方式

版本：v7.1.3

新增功能

1.离线开发支持kyuubi

  • 功能介绍：
    • 离线开发中的SQL节点执行引擎选择Spark时，支持使用Kyuubi执行。

2.支持配置LDAP的账号密码

  • 功能介绍：
    • 针对CDH集群，新建项目时，支持配置项目账号的LDAP账号和密码，且支持在用户中心中配置个人的LDAP账号和密码。离线开发和自助分析执行时支持使用配置的LDAP账号执行。

任务运维中心

版本：v1.9.3

新增功能

1.支持重跑下游功能

  • 功能介绍：
    • 新增重跑下游功能，用户可以选择运行方式为线上调度，且就绪时间为昨日0点以后的实例及其下游运行方式为线上调度的实例进行重跑操作；重跑下游功能支持开启冻结模式，开启冻结模式后，可以选择冻结未就绪的下游实例，在上游数据发生问题，而下游实例未就绪时，可以使用该功能进行一键重跑，同时避免下游数据被污染。
  • 功能使用注意事项：
    • 需要有相关实例的重跑权限，才可以选择上下游实例一起重跑。
功能优化

1.报警规则新增“任务/节点开始”和“任务/节点完成”

  • 功能介绍：
    • 新增报警规则类型，支持在任务/节点开始运行和运行结束时发送报警通知。

实时计算

版本：v3.9.18

新增功能

1.任务支持自动拉起

  • 功能介绍：
    • 任务运维配置中新增失败自动拉起配置，开启后如任务运行失败，平台将尝试自动拉起恢复任务。
  • 功能使用注意事项：
    • 任务自动拉起的版本为运维页面的当前版本，自动拉起次数将在用户手动启停操作后重置，变更自动拉起配置需重新提交任务。
  • 功能详细使用步骤：
    • 配置入口：实时开发-运行配置-任务配置。
    • 配置说明：
      • 自动拉起开关：默认关闭，打开后自动拉起策略将生效。
      • 自动拉起方式：可选择从最新 Checkpoint 恢复或直接启动。
      • 自动拉起次数：任务失败后尝试自动拉起的次数，当用户有手动启停操作后次数将重置。如配置自动拉起次数为3次，当前任务运行失败，通过自动拉起尝试恢复两次后正常运行，此时剩余自动拉起次数为1次，若用户手动对此任务进行重启，则自动拉起次数恢复至3次。
      • 自动拉起间隔：任务失败后尝试自动拉起的时间间隔。
功能优化

1.数据滞留延迟报警信息中延迟时间单位自动转换。

安全中心

版本：v3.11.0

新增功能

1.支持库安全等级并根据安全等级配置申请库权限审批流

  • 功能介绍

    • 支持库安全等级并根据安全等级配置申请库权限审批流

  • 功能使用注意事项

    • 库安全等级取库下表最高的安全等级
    • 对于DDL影响到的安全等级\显式的对表/列设置的安全等级均半小时内生效

  • 功能详细使用步骤

    • 功能入口：安全中心-权限中心-权限申请：申请库权限时展示库安全等级
    • 功能入口：安全中心安全管理-权限配置：权限配置-审批配置支持对库设置基于安全等级的审批流

2.脱敏白名单支持申请

  • 功能介绍

    • 支持库安全等级并根据安全等级配置申请库权限审批流

  • 功能详细使用步骤

    • 功能入口：权限配置-白名单：支持到期日期
    • 功能入口：权限中心-权限申请：支持申请白名单

3.资产交接对接审批流程

  • 功能介绍

    • 资产整体转交支持普通用户申请转交并对接流协

  • 功能使用注意事项

    • 仅可申请将自己的资源转交给其他人
    • 项目级的资源交接给任一项目下成员，项目组级的资源可交接给任一项目组级成员
    • 默认一级审批，项目组资源由项目组管理员审批；项目下资源由项目管理员审批。审批流可在流程协作中心画布修改

  • 功能详细使用步骤

    • 功能入口：安全中心-权限管理-权限治理-整体转交

数据资产地图

版本：v2.12.0

新增功能

1.支持手工录入表血缘

  • 功能介绍

    • 之前平台仅支持展示任务执行后自动解析的Hive动态血缘和SDK解析的静态血缘，在某些非SQL任务类型或者SQL语法不支持解析的场景下，此时血缘无法完整地展示出来。为了能够支持这类场景，平台新增手工录入血缘的功能，通过手工录入血缘，可以将一些表、指标、标签、API等节点挂载在表上，方便查看完整的血缘链路。

  • 注意事项

    • 仅支持给表添加上下游的手工血缘，暂不支持给指标、标签、API等类型的节点添加手工血缘
    • 表的上游血缘可以添加表节点、业务系统节点，表的下游血缘可以添加表节点、指标节点、标签节点、API节点
    • 默认仅表的技术负责人、表所属项目管理员和项目负责人、项目组管理员和项目组负责人可手工添加血缘，其他人员或角色则需要在安全中心授权后才能添加或删除手工血缘
    • 暂仅支持对Hive、MySQL、Oracle、Vertica、Greenplum表添加手工血缘

  • 使用步骤

    • 当表没有血缘时，可以点击“添加上游”、“添加下游”按钮来添加手工血缘；当表有血缘时，支持选择指定表后，可以在右侧弹框中添加上游血缘、添加下游血缘、删除手工血缘。

2.字段血缘支持指标、标签、API

  • 功能介绍

    • 之前字段血缘仅支持展示hive字段和字段之间的血缘，本次新增字段和指标、标签、API之间的血缘，方便用户洞察字段的完整血缘信息。

  • 注意事项

    • 无

  • 使用步骤

    • 打开表详情，点击查看字段血缘即可。

3.表和字段血缘OpenAPI支持指标、标签、API等

  • 功能介绍

    • 之前血缘OpenAPI仅支持查看上下游表或者字段的血缘，本次血缘OpenAPI返回内容出来表字段，还支持返回已有的指标、标签、API等血缘信息。

  • 注意事项

    • 无

  • 使用步骤

    • 具体请查看OpenAPI文档。

4.表血缘变更通知对象支持指标、标签、API、报告等负责人

  • 功能介绍

    • 之前血缘变更通知对象仅支持1层下游的表负责人，在血缘集成指标、标签、API、报告等功能后，血缘变更通知对象也同时支持下游的指标、标签、API、报告相关人员。除了新增通知对象外，本次还支持自定义指定通知人员，方便通知不在下游范围内的其他人员。

  • 注意事项

    • 无

  • 使用步骤

    • 表详情页点击发送变更通知，弹框里查看下游通知对象名单，且可增加指定通知对象。

5.元数据采集报告

  • 功能介绍

    • 元数据采集后，可以通过采集报告来查看某段时间内的采集任务实例数、采集业务系统数、采集表总数、采集变更表总数及其明细等。通过采集报告可以让用户了解采集的情况，并且根据变更的表明细来通知相关人员评估变更影响等。

  • 注意事项

    • 功能初次上线，历史数据可能会展示空，只要经过一段时间运行就能正常统计采集的数据情况
    • 有元数据采集任务或者实例权限的用户，才能查看采集报告

  • 使用步骤

    • 进入元数据采集模块，点击查看采集报告即可。

6.搜索偏好设置

  • 功能介绍

    • 地图首页搜索时，用户希望能够基于关键字匹配，并且优先推荐热门读取、热门搜索或者元数据质量评分高的数据。故本次平台在ES分词检索的基础上，提供了搜索偏好设置的功能，管理员可调整各项权重因子，优化搜索推荐的功能和体验。

  • 注意事项

    • 默认仅项目组负责人和项目组管理员可以设置搜索偏好，其他人员需要在安全中心授权后才能操作。

  • 使用步骤

    • 进入配置管理页，点击搜索偏好设置菜单，设置并保存后立即生效，可在首页搜索查看返回结果的推荐顺序。

7.数据资产统计

  • 功能介绍

    • 增加数据资产统计功能，方便了解平台的各类资产分布情况。

  • 注意事项

    • 无

  • 使用步骤

    • 查看首页即可。
功能优化

1.表负责人拆分技术负责人和业务负责人

  • 功能介绍

    • 之前表详情页顶部默认仅展示表负责人，实际某些用户场景中需要将表负责人进一步细化区分为技术负责人和业务负责人。本次将表负责人拆分为技术负责人和业务负责人，原来的负责人默认为技术负责人，业务负责人需要在模型建表时指定，或者在元数据治理时指定。

  • 注意事项

    • 系统默认原来的表负责人为技术负责人，历史存量已发布过的元数据中的技术负责人信息不会刷新到新的技术负责人中，如果要覆盖历史数据可以在页面上再次批量触发一下元数据发布流程即可。

  • 使用步骤

    • 查看表详情页，即可查看到表技术负责人和业务负责人信息。

2.表详情支持加入和展示专辑

  • 功能介绍

    • 表详情页支持查看表已经加入到了哪些专辑中，并且用户可以随时将当前表加入到自己的专辑里，该功能方便了用户对表和专辑的管理和信息互通。

  • 注意事项

    • 无

  • 使用步骤

    • 进入表详情页，查看表已加入的专辑，或者将表加入到自己的专辑中。

3.专辑添加表交互优化

  • 功能介绍

    • 之前专辑仅支持添加hive类型的表，本次支持专辑添加所有类型的表，并且支持全局检索表。

  • 注意事项

    • 添加和搜索的表范围是T+1的，新建的表可能不能实时检索到，需要次日才能加入专辑。或者需要手工采集后，才能立即加入专辑。
  • 使用步骤
    • 进入某专辑详情页，批量添加表到专辑中。

数据质量中心

版本：v3.5.0

新增功能

1.支持DB2数据源（10.5版本 ）

  • 功能介绍：

    • 质量监控任务支持选择达梦数据源作为监控对象，并适配规则模板

  • 功能使用注意事项：

    • 达梦数据源质量监控暂不支持查看异常数据样本和异常数据存储

  • 功能详细使用步骤：

    • 入口：任务列表-质量监控

2.质量监控任务支持通过参数库名映射，对接公共资源参数组

  • 功能介绍：

    • 质量监控任务导入导出或发布时，可以通过变量进行库名及表名替换

  • 功能使用注意事项：

    • 同一质量监控任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值

  • 功能详细使用步骤：

    • 入口：离线开发-公共资源：在发布环境和接受环境通过参数组配置参数和库/表的映射关系
    • 入口：任务列表-质量监控：
      • 新建/编辑任务时选中需要引用的参数组
      • 库名、表名、异常数据结果存储位置，可选直接选择/参数组替换。选择参数组替换，则下拉展示引用参数组里的参数，若有相同参数则应用优先级最高的。同一质量监控任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值。

3.质量监控异常的时候支持自动提报问题

  • 功能介绍：

    • 质量监控任务新建/编辑时增加整改配置，开关开启时，此任务线上调度规则异常时，自动提报成问题，可在问题管理模块进一步处理

  • 功能使用注意事项：

    • 提报人为监控负责人
    • 发布中心发布及导入导出场景，处理和验收流程根据名称匹配。若接收方没有同名流程，则填入默认流程；若接收方没有流程引擎，则为流程为空

  • 功能详细使用步骤：

    • 入口：任务列表-质量监控
功能优化

1.数据质量支持交易日函数：sys_sch_hs

  • 功能介绍：
    • 质量监控任务在分区配置和试跑及离线开发节点set参数中均适配sys_sch_hs函数，格式为azkaban_date_modify${schedule.exec.date.simple}','sys_sch_hs',-1, 'dd'

2.跨表跨字段模板规则比对表支持where条件

  • 功能介绍：
    • 跨字段跨表一致性模板规则比对表增加非分分区过滤条件

3.监控任务调度时也支持编辑异常存储配置

  • 功能介绍：
    • 历史版本线上调度及被离线开发引用的监控任务不可编辑异常存储配置，现放开此限制

版本：v3.4.1

新增功能

1.质量监控支持在规则代码sql里引用参数组

  • 功能介绍：

    • 监控任务基本信息中支持选择公共参数组，选中的参数组可在规则代码sql里应用

  • 功能使用注意事项：

    • 引用参数组后，当前任务SQL中可使用参数组内参数,格式${参数名}
    • 同一质量监控任务内多个参数组内有相同参数项时，系统取排在前面的参数组的参数值
    • 可前往“离线开发-公共资源”查看参数组详情或配置参数组

  • 功能详细使用步骤：

    • 字段级自定义规则代码、字段级自定义规则、异常SQL、表级自定义规则代码、表级自定义异常规则，可使用${}形式的参数
    • 保存时，异常SQL不针对做参数校验，如果执行时替换的参数组有问题，则报错

数据服务

版本：v1.6.7

新增功能

1.测试页面支持展示参数描述内容。

  • 功能介绍：

    • 测试页面可查看对应参数的描述内容，若数据较多，可hover查看全部。

2.支持starRocks数据源创建API。

  • 功能介绍：

    • 脚本或者向导模式下，支持选择starRocks数据源生成API。

3.服务编排，支持获取开始节点定义的参数使用。

  • 功能介绍：

    • 服务编排，若在下游节点需要使用在开始节点定义的参数，支持绑定或者启用开始节点参数。

  • 功能使用注意事项：

    • 若开始节点参数为非必填，而API节点的参数为必填，则不支持API节点绑定开始节点；且建议绑定字段的参数类型保持一致。

4.支持页面清除缓存的逻辑。

  • 功能介绍：

    • 对于发布过的API，支持详情页面上选择是否清除缓存。
功能优化

1.API下载为excel文件，总览页面新增字段

  • 功能介绍：

    • API下载为excel文件时，总览页面增加数据源类型、状态、测试状态等字段。

  • 功能使用注意事项：

    • PDF格式由于排版问题，暂未新增创建人等字段。

2.脚本模式下的解析返回参数优化

  • 功能介绍：

    • 脚本模式下，支持点击解析返回参数功能，系统会将脚本中的字段填充至右侧的"返回参数"列表，支持按照用户脚本中字段顺序进行解析填充(目前仅MySQL、Oracle、SQLServer数据源类型支持有序解析且可填充字段描述，其他数据源类型暂保持当前现状)。

3.API经后置返回参数处理后的逻辑优化

  • 功能介绍：

    • API经后置返回参数处理，包括对参数内容或者数量等进行处理，若jar包或UDF中对数量进行了处理，同样支持返回处理后的数据量。

4.API详情页面排版优化

  • 功能介绍：

    • API详情页面，包括API列表和API集市的详情页，页面排版优化，支持在最顶部展示API名称、描述和环境等内容。

5.服务编排日志优化

  • 功能介绍：

    • 服务编排API的入参内容支持输出至日志，便于用户查询日志定位分析。

6.注册API是否必填增加功能提示

  • 功能介绍：

    • 由于注册API功能仅做透传功能，对于用户配置的默认值仅作为展示使用，不作为请求参数实际生效，故不支持默认值传递的功能。注册API页面增加提示。

  • 功能使用注意事项：

    • 注册功能用于托管第三方API，参数是否必填仅作为给调用者的展示信息，平台不传递默认值参与计算。

7.版本历史功能优化

  • 功能介绍：

    • 更正版本历史列表中的修改时间；更新版本历史弹窗中的文案提示。

8.服务编排支持同步域名

  • 功能介绍：

    • 若在Ops侧配置了新的域名地址，支持原子API和服务编排API的域名同步。

9.创建API，MySQL数据源库表选择逻辑优化

  • 功能介绍：

    • 对于MySQL数据源，数据库下拉支持获取登记的数据源下所有的DB。

10.细粒度监控下，数据写入逻辑优化

  • 功能介绍：

    • 在细粒度监控下，修复部分脚本模式下的SQL写入到NTSDB中因为换行符导致写入失败而无法查看监控数据的问题。

11.API导出的Excel文档排版优化

  • 功能介绍：

    • API导出为Excel文件，优化响应示例中多余的换行符。

12.hive数据源支持库搜索

  • 功能介绍：

    • 修复hive数据源创建API，库无法搜索定位的问题。

13.支持数据地图的inner API

  • 功能介绍：

    • 配合数据地图需求，支持API血缘推送时增加表字段信息、支持批量获取API负责人的inner API。

流程协作与通知中心

版本：v2.3.12

功能优化

1.批量审批的返回弹窗中支持查看异常原因

  • 功能介绍：
    • 批量审批时若发生审批异常，支持在弹窗中查看异常原因。

发布中心

版本：v1.1.1

新增功能

1.支持定期检测是否存在更新未打包的资源并发送发布提醒

  • 功能介绍：
    • 资源列表增加展示“资源打包状态”，并支持在配置管理选择是否开启发布提醒，以解决发布方资源更新后漏发布至接收方的问题。
  • 功能详细使用步骤：
    • 发布中心-配置管理-通知配置模块：支持配置是否开启发布提醒。开启发布提醒后，每天18:00会检测当前项目是否存在 最近更新时间为近72小时 且 状态为未打包或更新待打包 的资源，如存在则会根据此处配置的通知资源类型和接收方式向通知接收人发送发布提醒。
  • 功能使用注意事项：
    • 此处的资源打包状态检测需要依赖调度系统，为不影响调度任务，如当日23:00检测仍未结束，将对未开始检测的资源取消检测，检测中的资源仍将继续检测。
    • 如某项目开启发布提醒，会按照项目-集群粒度进行资源汇总提醒。向资源负责人发送发布提醒时，通知会展示该项目-集群下资源负责人为该用户的所有近72小时内更新待发布的资源的资源数量和资源详情；向其他人、报警组、值班组发送通知时，通知会展示该项目-集群下所有近72小时内更新待发布的资源的资源数量和资源详情。

2.支持展示发布实例包的发布历史

  • 功能介绍：
    • 每次将发布实例包的单个或批量或全部资源发布到开发模式或发布到线上模式时，会生成一个发布批次。发布实例包详情页的发布历史tab页，支持展示各发布批次的发布状态、发布资源数量等信息。点击“查看详情“按钮，可查看该发布批次内各资源的发布状态等信息，并可勾选资源重新发布。

3.发布实例包资源发布成功或发布失败时，支持发送发布结果通知

  • 功能介绍：
    • 工单审批通过后由系统自动执行“上传包、导入到开发模式”或“上传包、导入到开发模式、提交上线“，无论发布成功或发布失败，均会发送发布结果通知。如发布策略中“接收工单自动审批“设置为“是”，则仅会向发布方工单发起人发送通知；如发布策略中“接收工单自动审批“设置为“否“，则会向发布方工单发起人和接收方审批人发送通知。
    • 由用户在接收方发布中心手动发布发布实例包的资源，无论发布成功或发布失败，均会发送发布结果通知，通知接收人为接收方操作人。
  • 功能详细使用步骤：
    • 发布中心-配置管理-通知配置模块：发布结果通知栏，支持配置通知接收方式。当前项目的发布实例包的资源发布成功或发布失败时，会根据此处配置的通知接收方式发送发布结果通知。

4.发布包发布时，“选择发布策略及配置”支持配置“资源发布失败策略“

  • 功能介绍：
    • 发布包发布时，发布策略支持配置“资源发布失败策略“：自动跳过、终止发布。“资源发布失败策略“用于控制接收方发布到开发模式和发布到线上模式的资源发布失败策略。本选项选择“自动跳过”，则表示发布实例包资源发布失败时自动跳过失败资源，继续发布剩余待发布资源；本选项选择“终止发布”，则表示发布实例包资源发布失败时终止发布，不再发布剩余待发布资源。
  • 功能详细使用步骤：
    • 配置管理：发布策略、接收策略支持配置“资源发布失败策略”的默认设置。
    • 发布包：发布包发布时，“选择发布策略及配置”支持设置“资源发布失败策略”。
    • 发布实例包：列表页和详情页可查看“资源发布失败策略”配置。发布包发布工单及邮件可查看“资源发布失败策略”配置。
  • 功能使用注意事项：
    • Hive表、离线同步任务、质量监控任务、数据服务API暂不受此策略控制，资源发布失败时默认会自动跳过失败资源，继续发布。
功能优化

1.发布策略-映射信息的查看权限对接安全中心功能权限

2.发布包发布工单状态及执行日志逻辑调整

  • 功能介绍
    • 发布包发布工单状态逻辑调整：工单状态与工单审批通过后资源发布状态解耦。如工单审批通过，则工单状态为已完成；如工单审批被拒绝，则工单状态为异常。
    • 发布记录-接收方工单详情-执行日志逻辑调整：仅展示审批及发布包发布至接收方的过程日志，不再展示发布实例包资源发布到开发模式或发布到线上模式的发布过程日志。

3.创建失败的发布包支持查看失败详情

4.资源类型为Hive表时，不支持发布视图

  • 功能介绍
    • Hive表检测时，如为视图，则检测分类“DDL执行语句检测”的检测结果为“未通过”，详情为“视图暂不支持发布”

5.“一键智能添加”针对智能添加失败的资源支持查看失败详情

6.发布包发布页面交互优化

  • 功能介绍
    • 发布包资源包含Hive表时，需要先进行发布检测。此版本的交互优化包含两点：1）针对Hive表的发布检测提示；2）点击“全部发布”按钮时，如果发布包包含未检测的Hive表，会提示用户前往检测资源。

7.视觉优化

  • 功能介绍
    • 分页器组件增加“10条/页”的选项
    • “添加发布策略”和“添加接收策略”视觉样式改为弹窗

控制台

版本：v1.3.8

新增功能

1、【平台整体】产品名称和产品logo升级

  • 功能介绍：
    • 导航栏：原“数据开发及管理”logo更改为“EasyData”logo。
    • 通知模板管理：邮件主题前缀和文本主题前缀的默认值由【数据开发及管理】改为【EasyData】，平台logo的默认值修改如图。备注说明：如客户环境已修改邮件主题前缀、文本主题前缀或平台logo，此次默认值修改不影响客户环境已有值。
    • 控制台-标签页：logo修改如图。备注说明：如客户环境已通过EasyOps修改标签页logo，此次修改不影响客户环境已有值。
功能优化

1、【数据源管理】MongoDB新增版本：3.0、6.0

  • 功能介绍：
    • MongoDB新增版本：3.0、6.0，支持standalone模式

2、【数据源管理】Redis新增版本：3.0（集群部署模式：single）、3.2（集群部署模式：single）

  • 功能介绍：
    • Redis新增版本：3.0（集群部署模式：single）、3.2（集群部署模式：single），版本为5.0且集群部署模式：single时新增支持测试连接功能

3、【数据源管理】TDSQL新增版本：10.3.14(MySQL 8.0)

  • 功能介绍：
    • TDSQL新增版本：10.3.14(MySQL 8.0)，历史版本“10.3.14”改为“10.3.14(MySQL 5.7)”
  • 功能使用注意事项：
    • 版本为10.3.14(MySQL 5.7)，数据源连接格式为：jdbc:mysql://ServerIP:Port/Database；版本为10.3.14(MySQL 8.0)，数据源连接格式为：jdbc:tdsql-mysql://ServerIP:port/database。

4、【数据源管理】编辑数据源时，如数据源已被引用，支持填写修改备注，并在展示安全中心-审计日志-编辑数据源中展示修改备注

  • 功能介绍：
    • 修改数据源时，如数据源已被引用，会进行保存的二次确认，并支持填写修改备注，备注此处修改内容。
    • 填写修改备注后，安全中心-操作审计-数据源编辑的事件详情中，扩展信息支持展示修改备注信息。