数据传输

版本：v3.13.0

1.【离线】支持基于Excel模板批量新建离线同步任务

• 功能介绍：
  • 支持基于Excel模板批量新建离线同步任务。
    • 数据来源支持的数据源类型包含：DB2、DM、HANA、MySQL、Oracle、PostgreSQL、SQLServer、TDSQL、TiDB、VastBase G100、Vertica，去向数据源类型默认为：Hive，数据源名称默认为：当前项目-当前集群 Hive数据源。任务仅支持向导模式，不支持使用逻辑数据源，同一任务不支持填写多张来源表。
    • 表建立方式值为创建新表时，批量新建任务前会自动建表，Hive表的字段名称与来源表字段名称相同，字段类型根据配置管理-快速创建表配置-字段类型映射规则映射，分区字段名称使用Excel中填写的分区字段名称，分区字段类型默认为string。
• 功能使用注意事项
  • 单次最多可新建1000个任务。
  • 仅支持上传“.xls”“.xlsx”格式文件，文件大小不超过 30 MB。
  • 去向Hive表最多可支持两级分区。
    • 功能详细使用步骤
  • a.功能入口：
    
  • b.使用流程：
    • 1）点击”下载模板“，下载任务模板的Excel文件，并按照模板要求在Excel中填写任务信息。
      
    • 2）点击”上传文件“按钮，上传Excel文件。文件解析中，请不要刷新/离开当前页面，或关闭浏览器，否则批量新建任务会失败。 上传文件后，会检测Excel填写内容是否符合要求，如不符合要求可在“检测未通过原因”列查看具体原因。仅当所有任务均检测通过后才可批量导入任务
      
    • 3）所有任务均检测通过后，点击“导入”按钮，开始新建离线同步任务。 导入完成后，可查看导入结果。针对导入成功的任务，支持批量运行任务和批量新建离线开发任务；针对导入失败的任务，支持查看导入失败原因。
      

2.【离线】OceanBase作为数据来源支持SQL模式

• 功能介绍：
  • OceanBase作为数据来源支持SQL模式
• 功能详细使用步骤
  • a.功能入口：
    

3.【整体】对接安全中心资产整体转交

• 功能介绍：
  • 安全中心支持按照项目粒度转交离线同步任务和实时同步任务的负责人，转交后被转交人权限同步删除。
• 功能详细使用步骤
  • a.功能入口：
    

4.【离线】来源或去向为结构化数据源时字段映射支持获取最新表结构

• 功能介绍：
  • 此前，来源和去向均为结构化数据源时，字段映射已支持“获取最新表结构“的功能，能针对来源表和去向表新增字段、删除字段、修改字段类型、字段顺序调整的表结构变更做出提示并自动进行字段映射调整。
  • 此版本进行了功能增强。仅来源为结构化数据源时，支持对来源表的表结构变更做出提示并自动进行字段映射调整；仅去向为结构化数据源时，支持对去向表的表结构变更做出提示并自动进行字段映射调整。
  • 来源表：1）新增字段：不改变已有的字段映射列表，下拉选项中增加新增字段；2）删除字段：如果被删除的字段原已在列表中被选中，则通知提醒框中进行报错提示，不阻塞保存任务；3）字段类型变更：更新“类型”列该字段的字段类型；4）字段顺序变更：字段映射列表中的来源表字段下拉列表按变更后的来源表字段顺序展示，不修改字段映射列表已有配置。
  • 去向表：1）新增字段：字段映射列表中新增行，行序号为去向表中该字段的列序号。针对该行的来源表字段，来源数据源类型为HBase时，来源表字段的第一个单选框置为第一个列族，第二个输入框的位置填充去向表字段名称，来源为HBase以外的数据源类型时，来源表字段的输入框的位置填充去向表字段名称。2）删除字段：删除字段映射列表中的对应行；3）字段类型变更：更新“类型”列该字段的字段类型；4）字段顺序调整：字段映射列表中按变更后的去向表字段顺序展示，并保留映射的来源表字段信息。
• 功能详细使用步骤
  • a.功能入口：
    

5.【离线】数据去向为Kafka时支持指定key

• 功能介绍：
  • 数据去向为Kafka时支持指定key。Key支持填写一个或多个去向字段。如填写多个字段，字段间请以；分隔，写入时会按照json的序列化格式写入Kafka的Key。示例：Key填写id；name，当id值为1、name值为张三时，写入Kafka的Key为：{ "id”:”1”, “name”:”张三” }。
  • 如未填写Key，则写入kafka记录Key为null，数据随机写入topic的各个分区中。
• 功能详细使用步骤
  • a.功能入口：
    

6.【实时】数据去向支持Oracle

• 功能介绍：
  • 数据去向支持Oracle。
• 功能使用注意事项：
  • Oracle字段名称格式限制：仅支持大小写字母、数字、下划线、中划线、$。
• 功能详细使用步骤
  • a.功能入口：
    

1.【离线】Oceanbase数据库模式为Mysql时适配版本：3.2.4（企业版）
2.【离线】Doris适配版本：2.0
3.【离线】Tidb适配版本：6.1
4.【离线】任务列表支持按照试运行状态筛选任务
5.【离线+数据导入】支持根据Spark版本控制产品功能展示

指标系统

版本：v2.8.9

1. 支持在指标平台中搜索指标系统的指标

• 功能介绍：在指标平台的首页中，可以查看指标系统的热门指标等，也可以直接搜索指标系统的指标。点击指标名称后，可以直接跳转至指标系统的指标详情页进行查看

离线开发

版本：v7.2.2

1.【重点关注】离线开发线上模式的报警设置前置到开发模式

• 功能介绍：
  • 开发模式下支持报警设置，提交上线后可将报警设置提交到线上。同时，线上模式不再支持“编辑报警”，所有对线上模式“报警设置”的修改，都需要先在开发模式修改完成，再提交上线。

2.离线开发任务支持自动跨环境发布

• 功能介绍：
  • 离线任务跨环境发布，指通过发布中心产品，实现任务在两个平台或同平台的不同“项目-集群”间进行发布；
  • 在发布中心开启自动发布功能后，离线开发任务在新建时，支持选择开启或关闭自动发布，已有任务的开发模式下也会显示“任务自动发布”的开关；
  • 任务的开关为开，离线开发任务在重命名、提交上线等场景下，系统会基于发布中心的配置，自动将线上模式的任务进行跨环境发布；
  • 更具体的说明，请参加发布中心的用户手册。

3.平台底层为CDP环境时自助分析也可支持Kyuubi

4.自助分析的query支持定位

• 功能介绍：
  • 自助分析Query中，支持快速将右侧画布中显示的任务快速在左侧列表中定位。

5.离线开发任务节点的输出参数支持map功能

• 功能介绍：
  • 离线开发任务的部分节点配置输出参数，支持将节点中最后一条select语句的查询结果保存为二维数组供下游节点使用。本次新增了map功能，支持基于查询结果中第一列的key值匹配，并获取改行的数据。
  • 举例：查询结果有id和name 2列，共有2条数据，第一条为1和张三，第二条为2和李四，则select '${outputs1('2')[0]}'，可以定位到id=2的记录，并输出去掉第一列之后的第一列的数据，结果为“李四”。

6.用户申请加入项目时，支持平台粒度控制是否显示项目组角色选择项

• 功能介绍：
  • 平台用户申请加入项目时，可需要选择要加入的项目、获得的项目和项目组角色。针对不需要用户选择项目组角色的场景，可以在部署平台控制开启隐藏。

7.支持平台管理员删除impala队列和K8S资源池

• 功能介绍：
  • 平台管理员可在项目管理-项目的资源详情-计算资源下，删除Impala队列和K8S资源池（如有）。

1.自助分析下载的内容是数值时默认用数值格式

• 功能介绍：
  • 自助分析下载的xls格式中，如果存在数值型数据，原先都是显示为文本格式。当前版本进行了优化，下载后数值可显示为数值格式。

2.离线开发任务的Python节点运行的日志中对python本身的报错进行标红展示

• 功能介绍：
  • 对于python本身运行时，报错信息也标红展示。

3.离线开发任务的低代码节点支持支持其他设置

• 功能介绍：
  • 低代码节点支持节点内设置其他设置，线上调度时可使用节点内的设置。支持设置运行超时时间、自动重试、输入参数等。

4.离线开发任务的版本比对支持选择节点详情比对和展示

• 功能介绍：
  • 版本比对详情页，针对有差异的选择节点，支持展示详情并标注差异。

1.离线开发任务提交上线走工单审批，审批异常时，在离线开发支持撤回提交上线工单

2.项目中心-资源管理-资源监控的日存储使用情况调整为真实物理存储大小，及支持显示集群默认副本数

版本：v7.2.1

1.【重点关注】离线开发任务线上模式的“调度设置”前置到开发模式

• 功能介绍：

  • 开发模式下支持设置任务的调度信息，提交上线后可将调度信息提交到线上。同时，线上模式不再支持编辑调度，所有对线上模式调度信息的修改，都需要先在开发模式修改完成，再提交上线。

• 功能使用注意事项

  • 整体说明：本次调整，将原本在线上配置的调度信息前置到开发模式，这将在很大程度上影响用户的现有使用习惯，甚至影响团队的协作模式，因此需要所有离线开发的用户关注本项变更。
  • 变更原因：原有模式下，离线开发新建的任务提交上线后，才可以配置调度信息，以及老任务修改调度配置是直接在线上操作。这种模式本身未做到开发和线上模式的版本独立。另外，不少团队会配置提交上线、编辑调度、取消调度需要工单审批，对于既需要修改任务代码，又需要修改调度依赖等的场景，需要走2次工单审批，中间也很容易工单没有同时审批，导致任务代码和调度配置不统一的问题。同时，对于任务回滚，也无法做到任务代码和调度配置统一回滚。
  • 变更的影响：
    • 老任务：对于老任务，如果任务是未调度，则开发模式的调度设置中，”调度开启“设置为“未开启”；如果是已调度，系统会自动将线上模式的调度信息复制到开发模式。由于开发模式和线上模式的节点可能会有差异，线上模式的调度信息不一定完全适用开发模式，因此可能会出现部分配置是非法内容的情况。在老任务在提交上线时，系统会对异常配置进行检测和提醒，请操作者关注提示的信息。
    • 新任务：新任务创建后，在提交上线前，需要先进行调度设置，再提交上线。
    • 开发模式的调度设置：开发模式下，支持和原本线上一样的配置，并且引入了“调度开启”开关，“调度开启”为关，则和原本提交上线且线上不设置调度的状态相同。“调度开启”为开，则可以设置调度，在开发模式可以设置调度，且配置依赖时仅能依赖开发模式的任务中的节点，包括智能推荐依赖也是推荐开发模式的节点。
    • 开发模式节点操作：节点右键，支持”查看被依赖详情“、支持“替换依赖节点”，这些都是对开发模式下的任务进行操作。节点删除或禁用时，有开发模式的下游依赖时会进行提醒，用户可以强制进行删除，且删除时会同步删除下游依赖和当前节点调度设置中的上游依赖配置。
    • 提交上线：任务提交上线时，会增加“是否调度设置异常“的检测，包括调度失效时间约束、下游依赖、上游依赖、下游调度生效时间影响、队列为空、调度日历不存在、调度周期变更等的检测提醒。
    • 依赖授权：原本仅提交上线的任务才可以进行依赖授权，现在是否上线都可进行依赖授权。
    • 线上模式的调度：线上模式不再支持配置调度，仅能通过开发模式提交上线。
    • 提交上线审批设置：原本在“离线开发配置”-“基础配置”-“强制走工单审批设置”中，可以配置“编辑调度、取消调度”可以走工单审批，此次将去掉改配置，强制走工单配置仅用于控制“提交上线”的审批。
    • 关于线上模式节点开启调度：当前版本线上节点不再支持控制节点是否开启调度，如需要节点线上模式不再调度，需要在开发模式下对节点右键，禁用节点，并提交上线。

任务运维中心

版本：v1.9.10

1.任务详情里支持显示更多信息

• 功能介绍： -在任务详情页面中，如果任务线上模式已提交上线，则可以在调度信息中点击“查看更多信息”，展示任务的线上调度信息。

2.就绪状态的实例支持查看日志

• 功能介绍： -就绪状态的实例支持查看日志。

3.安全中心转交任务工单发起人改为转交操作人

• 功能介绍： -原先安全中心批量转交任务的工单发起人为任务原负责人，此次调整为转交操作人。

版本：v1.9.9

1.编辑调度由线上模式前置到开发模式相关修改

• 功能介绍：
  • 离线开发中将任务的调度设置前置到开发模式，任务运维中心适配相关逻辑调整，包括取消调度不再需要走审批、“修改首次执行时间”的文案修改为“修改调度生效时间”。

UDF Studio

版本：v1.1.4

1.对接平台新接口，支持在S3/HDFS介质上存储和下载jar包资源

• 功能介绍：

  • 对接平台新接口，可以在不同的存储介质上上传和下载jar包资源。

实时计算

版本：v4.0.0

1.支持日志History Server。

• 功能介绍：
  • 对日志模块进行了重大重构，新增支持History Server，能够在内嵌运维页面查看当前/历史JM、TM日志，当前/历史异常日志以及任务启动/停止日志，方便用户便捷查看当前状态及快速的定位诊断问题。

1.Notebook开发优化。

• 功能介绍：
  • Notebook优化核心解决的问题：
    • 补足Source源端对接能力，新增可视化数据探查功能
    • 快速引用流表/物理表
    • 可视化配置参数，降低开发门槛
    • 增强调试能力

2.实时开发任务能单独配置参数

3.实时开发-main.args 支持引用【公共资源-参数组】配置的参数

4.支持ndi插件灰度上线

数据资产地图

版本：v2.14.0

1.支持元数据大批量异步导出

• 功能介绍

  • 之前元数据列表单次导出最多支持100条记录，不满足大数据量的导出场景。为了解决该问题，系统新增支持大批量元数据异步导出功能，即用户单次可导出2000条数据，系统后台执行导出任务，不影响用户做其他操作，并且用户还可查看元数据历史导出记录和导出进度。

• 使用步骤

  • 第一步：批量勾选元数据并点击批量导出按钮
  • 第二步：进入“元数据导出记录”页面，可查看元数据导出记录、导出进度、导出文件下载等

2.支持OceanBase表采集、治理、发布和搜索查看

• 功能介绍
  • 系统支持OceanBase表的元数据采集、注册、治理、发布、搜索和表详情查看
• 使用步骤
  • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择OceanBase
  • 元数据注册模块，可以对已采集的OceanBase表进行元数据治理、发布和下线等操作
  • 数据资产地图首页支持搜索OceanBase表，可查看OceanBase表详情，包括基本信息、字段信息、版本信息等

3.支持Doris表采集、治理、发布和搜索查看

• 功能介绍

  • 系统支持Doris表的元数据采集、注册、治理、发布、搜索和表详情查看

• 使用步骤

  • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择Doris
  • 元数据注册模块，可以对已采集的Doris表进行元数据治理、发布和下线等操作
  • 数据资产地图首页支持搜索Doris表，可查看Doris表详情，包括基本信息、字段信息、版本信息等

4.表字段支持设置顺序和是否隐藏

• 功能介绍

  • 数据资产地图的表详情页中，之前字段列表的表头是固定展示列内容和列顺序，用户反馈字段列表中部分列不需要或者部分列顺序想要调整，故产品新增支持设置列是否隐藏、列顺序调整的功能，以便灵活展示需要的信息。

• 注意事项

  • 项目组负责人和项目组管理员默认支持设置表头字段是否展示及展示顺序，设置后项目组内统一生效

  • 未治理表和已治理表由于字段列表属性有差异，故需要分别设置

• 使用步骤

  • 项目组负责人和项目组管理员可以在“配置管理-默认项配置”模块中设置各数据源类型表字段列表的表头设置信息
  • 其他人员在安全中心授权后，也可设置表的字段列表表头信息
  • 字段列表中不需要展示的列，可以点击“隐藏”按钮
  • 字段列表中需要调整字段顺序时，可以拖动字段来达到调整顺序的目的

5.支持流表血缘

• 功能介绍

  • 实时计算的任务上报血缘信息给元数据中心后，用户可在数据资产地图的流表详情页展示对应的流表血缘数据，以便知晓流表数据的全链路血缘信息

• 注意事项

  • 本次流表血缘支持的流表类型有：

    • 通过消息队列注册生成的流表：流表（Kafka）、流表（RocketMQ）、流表（Nydus）
    • 通过物理表注册生成的流表：流表（MySQL）、流表（Oracle）、流表（HBase）、流表（Kudu）、流表（ES）

  • 本次流表血缘支持的物理表节点有：MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris等。由于实时计算上报的物理表可能是纯DDL定义的，非数据源登记，故部分节点仅支持纯文本展示节点信息，不提供跳转详情页。

  • 流表血缘目前仅支持读取和写入为流表的血缘，不支持串联读取或写入为流表对应的物理表血缘。

• 使用步骤

  • 前提：实时计算有配置正确实时计算任务，并且上报血缘信息。在此前提下，用户搜索流表后，在流表详情页点击“数据血缘”模块，可查看数据血缘信息

1.批量勾选优化

• 功能介绍
  • 之前元数据注册模块的列表页多次批量勾选元数据后，不知道总计勾选了多少条，也不方便取消勾选。本次优化后，支持统计已勾选条数、取消已勾选记录。
• 使用步骤
  • 元数据注册列表，勾选元数据即可。

2.元数据管理数据源选择范围优化

• 功能介绍

  • 之前元数据注册页下拉可选择的数据源列表是当前用户有读或写权限的数据源，由于元数据信息是支持多人协作补充的，导致其他用户没有该数据源权限时，无法编辑保存、导入该元数据信息。为了解决该问题，故产品上放开该限制，支持用户下拉选择全部数据源，这里数据源仅作为展示信息用，不涉及数据内容的读写。

• 使用步骤

  • 添加或编辑元数据时，可下拉单选任一数据源。

3.搜索推荐展示内容优化

• 功能介绍
  • 之前首页搜索输入关键字后，推荐列表中没有展示表描述信息、外部数据源名称等，不方便用户选择和区分表，本次优化后会在搜索关键字后的推荐列表中增加展示表描述信息、外部数据源名称等。
• 使用步骤
  • 进入首页，输入关键字，查看推荐列表信息，可查看到表描述信息、外部数据源名称等。

4.数据传输上报的血缘扩展适配更多的数据源类型

• 功能介绍

  • 之前数据传输上报的血缘仅包含来源或者去向为Hive的血缘，且已调度的传输任务。本次迭代后新增了2个优化点：

    1、数据传输会将所有的数据源类型均上报。在地图的支持范围内可展示的传输血缘类型更加丰富，例如MySQL写入Oracle，Oracle写入Vertica，Vertica写入Greenplum等。

    2、除了已调度的传输血缘，还增加试运行状态的传输任务血缘。已调度的传输血缘在地图中展示为活跃血缘，用实线连接；试运行的传输任务血缘，在地图中展示为静默血缘，用虚线连接。

• 使用步骤
  • 前提是在数据传输模块已创建并试运行传输任务，然后在地图的表详情页查看数据血缘即可。

数据质量中心

版本：v3.8.0

1、规则支持配置自定义属性字段

• 功能介绍：
  • 增加对规则打标：对规则标记各类标签，比如是否暂停，是否剔出，是否忽略；规则关注程度、权重等，以便于对规则管理
• 功能使用注意事项 ：
  • 无

2、数据质量监控任务支持引用平台的调度日历

• 功能介绍：
  • 数据质量监控任务调度周期支持交易日频度

• 功能使用注意事项 ：

  • 无

3、质量监控、执行实例列表支持项目组级查看

• 功能介绍：
  • 质量大屏支持配置项目权限进行查看，大屏内容支持项目组级别
  • 任务管理支持项目组统一管理和查看，支持新建监控任务、形态探查和数据比对任务
  • 执行实例支持项目组同意查看
  • 规则模板支持项目组统一查看，支持新建规则模板，支持权限配置管理
  • 配置管理支持项目组统一配置，支持权限配置管理

• 功能使用注意事项 ：

  • 无

4、数据质量支持GaussDB 8.1.3 FOR PG

• 功能介绍：
  • 数据质量支持GaussDB 8.1.3 FOR PG

5、数据质量报告查询OpenApi：查询项目组下有表级质量报告的表列表

• 功能介绍：
  • 数据资产地图数据内容丰富与查询能力增强，需新增以下能力：
  • 1）资讯数据的接入：接入聚源、通联、中债、中证等外部资讯数据，实现资讯目录、数据字典、数据表结构、数据内容的查询；
  • 2）数据字典的查询：实现标准字典及仓外原始字典的目录、列表、详情、搜索等功能，按需对接标准字典的维护功能；
  • 3）数据质量报告：支持查询不同数据源下面的指定数据表或者数据表组合的数据质量报告情况，支持与数据质量工单流程打通；
  • 4）版本管理：支持对基础元数据/指标/标签的治理和发布的版本记录及变更内容进行查询展示，支持多版本对比；
  • 5）订阅通知：支持资产的订阅功能，新增数据资产地图里面的资产元数据发生变更后，针对订阅用户的通知提醒；

6、数据质量支持项目组级别质量大屏

• 功能介绍：
  • 质量大屏支持配置项目权限进行查看，大屏内容支持项目组级别
  • 任务管理支持项目组统一管理和查看，支持新建监控任务、形态探查和数据比对任务
  • 执行实例支持项目组同意查看
  • 规则模板支持项目组统一查看，支持新建规则模板，支持权限配置管理
  • 配置管理支持项目组统一配置，支持权限配置管理

数据服务

版本：v1.7.0

1.报警规则的通知人支持报警组。

• 功能介绍：

  • 创建报警规则时，通知人支持选择报警组。

2.传输加密算法支持RSA+AES的方式。

• 功能介绍：

  • 创建API时，若开启传输加密，支持选择RSA+AES算法。

3.API绑定应用时，若开启行级权限，支持配置单值精准匹配或者多值匹配。

• 功能介绍：

  • 在API详情页或API集市中绑定应用时，若开启行级权限，支持选择行权限值传参配置，可选择单个权限值精准匹配或任务权限值的组合。

• 功能使用注意事项：

  • 任意权限值的组合目前只适用于入参绑定了in或者between的操作符，且行级权限的入参参数类型为字符串；
  • 当选择任意权限值的组合传参方式时，传递多个值可以使用英文逗号分隔。

4.添加参数弹窗中支持字段名称或描述搜索定位。

• 功能介绍：

  • 创建API时，在添加参数的弹窗中，支持按照字段名称或描述进行搜索定位。

1.在API集市申请绑定应用时，若绑定同一个应用申请了多个工单，优化在流协侧审批工单的问题。

• 功能介绍：

  • 在API集市申请API时，若绑定同一个应用生成了多个工单，在流协侧审批工单时，优化工单审批流程，默认可通过不报错。

流程协作与通知中心

版本：v2.3.15

1.搜索栏支持搜索工单摘要

• 功能介绍：
  • 原先搜索栏只支持搜索工单编号，此次升级后，搜索栏支持根据工单编号和工单摘要进行搜索，用户可以直接输入工单摘要中的部分信息，即可返回相应的工单列表。