数据传输

版本：v3.16.0

1.【离线】任务目录新增支持自定义目录，并支持切换自定义目录和系统目录

• 功能介绍：
  • 离线同步任务原已支持系统目录（按照数据来源分类），此版本新增支持自定义目录。 自定义目录功能包含：支持目录的新建、重命名和删除，支持将任务保存在指定目录下，支持按照目录结构展示任务。
• 功能使用注意事项
  • 支持切换系统目录和自定义目录，并支持由项目负责人和项目管理员设置默认目录。默认目录的作用：当前项目-集群的所有用户进入任务列表页时，目录树会按默认目录的目录结构进行展示。
  • 自定义目录最多支持新建三级目录。已创建的历史任务的保存位置默认为“/根目录”，在列表页会展示在“未分组”目录下。如需修改历史任务的保存位置，可通过“批量修改保存位置”来批量修改任务的保存位置。
  • 自定义目录权限：仅支持由项目负责人、项目管理员新建目录、删除目录和重命名目录。如目录下存在子目录或任务，则目录不可删除。
  • 离线同步任务导入时，会判断导入方是否存在导出方任务保存位置对应的目录，如导入方存在该目录的话任务的保存位置保持不变，会继续放在该目录下；如导入方不存在该目录，则自动在接收方先新建目录，再导入任务。

2.【离线】GaussDB、Oceanbase、API、Doris适配Spark3.3

3.【实时】任务目录新增支持系统目录，并支持切换自定义目录和系统目录

• 功能介绍：
  • 实时同步任务原已支持自定义目录，此版本新增支持系统目录（按照数据来源分类）。
• 功能使用注意事项
  • 支持切换系统目录和自定义目录，并支持由项目负责人和项目管理员设置默认目录。默认目录的作用：当前项目-集群的所有用户进入任务列表页时，目录树会按默认目录的目录结构进行展示。
  • 系统目录（按照数据来源分类）一级目录为任务数据来源的数据源类型，二级目录为任务数据来源的数据源名称。

4.【实时】数据来源新增PostgreSQL

• 功能介绍：
  • 任务类型为多表到多表同步时，数据来源新增PostgreSQL。
• 功能使用注意事项
  • 仅插件版本为2.x时支持此功能。

5.【实时】数据去向新增SQLServer

• 功能使用注意事项
  • 仅插件版本为2.x时支持此功能。

6.【实时】日志支持展示启动、TM、JM、停止日志

• 功能介绍：
  • 实时同步任务原查看日志时仅支持查看启动日志。实时任务停止后无法再次查看该次运行的Flink UI界面和TM日志，对问题排查非常不利，需要提供任务停止后的相关任务信息特别是日志信息进行问题定位。故此版本对日志功能进行增强，支持展示启动、TM、JM、停止日志。
• 功能使用注意事项
  • 底层会设置日志定期清理策略。如日志已过期，则查看日志时会提示日志过期。

7.【实时】报警支持群聊报警

• 功能介绍：
  • 当用户环境已配置群聊报警插件（如：企业微信群、钉钉群）时，实时同步任务设置报警时支持群聊报警。
  • 针对各报警规则，可选择群聊报警接收方式，并选择报警接收群和报警通知人。群聊报警时，会向配置的群聊发送报警时并@报警接收人。
  • 注意：请保证报警接收人在群内，否则仅会向群发送消息，不会@报警接收人。此外，@报警接收人需对应报警渠道支持该功能。

1.【离线】HBase作为来源和去向时新增支持2.1版本、Kerberos认证

• 功能使用注意事项
  • 需要打通平台内置集群和HBase所在集群的互信后方可使用此功能。
  • 执行任务时，会使用任务执行账号访问该HBase。

2.【离线】Kudu作为来源和去向时新增支持1.10版本、Kerberos认证

• 功能使用注意事项
  • 需要打通平台内置集群和Kudu所在集群的互信后方可使用此功能。
  • 执行任务时，会使用任务执行账号访问该Kudu。

3.【离线】批量新建任务-页面形式新建 选择来源表组件优化

4.【离线】数据去向为HCP时，非结构化写入的技术方案优化：由Hadoop distcp改为Spark distcp，不依赖于Hadoop版本

5.【实时】来源为MySQL时支持自定义参数source.fields.convert-tinyint-one-boolean.enabled

• 功能介绍：
  • 参数名称：source.fields.convert-tinyint-one-boolean.enabled，用于控制MySQL表字段类型为tinyint时写入去向的字段类型。默认值为true，即按照boolean类型写入数据去向；值为false时，会按照tinyint类型写入数据去向。

6.【实时】任务选择参数组的交互优化

• 功能介绍：
  • 修改参数组后，不自动清空已选的来源表列表。如需调整来源表，可点击“刷新”图标获取最新来源表并重新选择。

数据标准

版本：v2.1.6

1.数据标准导入导出支持麒麟系统

• 功能介绍
  • 标准导入导出时，支持麒麟系统

2.标准数据类型增加decimal

• 功能介绍
  • 新建/编辑数据元时，数据类型新增decimal

模型设计中心

版本：v1.8.9

1.适配标准数据元新增decimal类型

• 功能介绍

  • 数据元的数据类型新增decimal，后续在模型设计中心引入标准新建字段，支持自动带入字段类型为decimal

离线开发&自助分析

版本：v7.6.0

1.适配TDH底座

• 功能介绍：
  • 本平台默认对接NDH大数据底座，当前版本的离线开发、自助分析、项目中心、任务运维中心等产品适配了TDH底座，并使用TDH的Inceptor表替换Hive表。
  • 平台整体完成TDH对接需要，还需要本平台其它产品陆续适配。

2.离线开发任务报警设置支持配置报警群并指定人员

• 功能介绍：
  • 如果当前项目在“报警系统”产品中配置了群聊报警（目前需要运维后台配置），则离线开发任务开发模式报警设置中，添加报警时支持添加群聊报警。
  • 目前支持的报警渠道有钉钉群、飞书群、企业微信群，并支持选择具体的群聊，以及设置“指定人员”。 “指定人员”，可选择“个人报警接收人”中已勾选的接收者，配置者需要确保这些人员在平台中配置了手机号，系统会根据手机号查找群聊中的人员，并@这些人员。

版本：v7.5.1

1.离线开发任务支持批量操作

• 功能介绍：
  • 离线开发新增批量操作，支持批量提交上线、转交任务、取消调度、修改调度生效时间。
  • 当前仅项目负责人和管理员可进入和操作。

2.离线开发的部分节点支持多Tab编辑

• 功能介绍：
  • 离线开发多节点任务中，支持同一个任务内顶部多tab展示任务内的节点
  • 目前仅部分节点支持，包括SQL类节点、Shell、Python、Perl等

3.离线开发新增Doris、StarRocks节点

• 功能介绍：
  • 离线开发中新增Doris、StarRocks节点，支持在节点中选择有权限的数据源，进行数据开发

4.离线开发的选择节点支持使用script节点的outputs参数

• 功能介绍：
  • 离线开发的选择节点选择“根据上游节点输出参数”这一选择逻辑时，支持指定第n行第n列的方式使用上游输出参数，而Script节点的输出参数，默认按照字符串方式输出，因此原本选择节点无法直接使用Script节点的输出参数。
  • 当前版本针对选择节点，新增直接使用Script完成输出参数的功能，由选择节点对完整内容进行判断。

5.自助分析支持StarRocks数据源

• 功能介绍：
  • 自助分析数据源展示和显示中，StarRocks数据源。

1.离线开发任务被运维或OpenAPI直接修改线上信息时提示增强（@前端）

• 功能介绍：
  • 离线开发任务，支持任务运维中心和OpenAPI直接修改线上模式调度信息，当前版本在修改历史和版本记录记录中，针对此类操作都增加了记录。

2.离线开发任务快速还原支持还原调度设置和报警设置

• 功能介绍：
  • 针对任务快速还原，如果线上模式的版本中包含了调度设置和报警设置，则支持同时还原任务包、调度和报警。
  • 针对先线上模式最新的版本为平台调度设置和报警设置功能前置之前提交的，则仅支持还原任务包。

3.资源组目录层架调整到9层

• 功能介绍：
  • 资源组支持的文件深度由3层增加到9层。

4.NDH底座下CS调度的Yarn队列隐藏无效的CPU核数信息

• 功能介绍：
  • 针对Yarn集群为CS调度时，新建项目、项目申请开通新集群、申请Yarn队列等，申请Yarn队列时，实际可用资源会按照“计划申请内存配额”进行计算分配，因此隐藏了“计划申请CPU配额”。

5.离线开发任务自动重试的开始时间改为真正开始时间

• 功能介绍：
  • 离线开发任务的节点设置自动重试后，如果节点运行失败，会等待“重试间隔”设置的时间后再运行，原本的重试记录中，节点运行失败后，即会先开始运行，然后再等待“重试间隔”。此次调整为，等待“重试间隔”之后，才计算“开始时间”。

6.离线开发任务运行超时时间改为不包含等待间隔

• 功能介绍：
  • 离线开发任务的节点支持设置运行超时时间，如果节点设置了自动重试，则原本的超时时间中，会计算重试间隔的时间，即比如运行超时时间设置1小时，重试间隔设置2小时，则会导致任务重试还未开始，即被终止。
  • 本次优化为有重试场景下，运行超时时间不计算重试间隔。

版本：v7.5.0

1.离线开发任务常规调度设置中支持设置一天多次调度

• 功能介绍：
  • 离线开发任务的常规设置中，设置调度周期为1小时，支持指定需要调度的“生效小时”，范围为0-23，其中用‘,’表示多个小时的值、用‘-’表示小时范围。
  • 举例：比如设置调度生效时间：2024-01-01 10:35，设置生效小时为：0-8,10,15-20，则该任务在1月1日10点35分之后，小时在0-8点，10点，15-20点，每个小时的35分会执行，其中第一个计划执行时间为2024-01-01 15:35，第二个为2024-01-01 15:35。

实时计算

版本：v4.4.0

1.【实时开发】RocketMQ版本为4.2、4.9时适配ACL认证

1.【实时开发】CDC任务功能迁移至数据传输-实时传输，实时开发不再支持新建和复制CDC任务

变更说明：由于CDC任务功能已迁移至数据传输-实时传输，故实时开发不再支持新建和复制CDC任务，不影响历史已创建任务的运维。如需新建CDC任务，请前往 数据传输-实时同步任务 新建任务。

任务运维中心

版本：v1.13.0

1. 配合离线开发的系列改造，包括适配TDH底座、报警设置、任务重试等方面

• 功能介绍

  • 详情请参考离线开发部分的更新说明。

数据资产地图

版本：v2.18.0

1.【上海证券】支持Impala血缘

• 功能介绍

  • 平台执行引擎为impala的任务，支持在地图展示对应的表血缘信息

2.【浙江交投】提供数据资产门户相关接口

• 功能介绍

  • 平台提供表详情OpenAPI，用于数据资产门户展示资产详情

1.数据传输提供接口支持批量查询字段的静态脱敏信息

• 功能介绍

  • 字段血缘脱敏信息查询接口优化，支持批量查询

2.GaussDB表详情支持查看DDL信息

• 功能介绍

  • 在GaussDB表详情页，用户可直接点击查看DDL信息

3.元数据采集侧边框宽度优化

• 功能介绍

  • 元数据采集任务侧边栏抽屉宽度加宽，方便用户操作和查看，提升用户体验

4.地图iceberg表血缘支持展示下游BI报告

• 功能介绍

  • 在BI中登记的Doris数据源，如果doris外表关联的底层元数据为iceberg，系统支持打通BI和中台的血缘，在中台iceberg表血缘中支持查看下游的BI报表

数据服务

版本：v1.8.1

1.查询API详情的OpenAPI接口增强

• 功能介绍
  • 详见数据服务OpenAPI手册

发布中心

版本：v1.3.0

1.【发布记录】支持查看工单审批通过后的发布结果

• 功能介绍：
  • 发布记录页，发布记录表格新增发布状态、发布时间、发布结果列，展示工单审批通过后发布到开发模式或发布到线上模式的发布状态及相关信息。如工单审批通过后设置为“仅上传包”或工单审批不通过，则发布状态为“-”。
  • 展开子表格，可查看发布包内各资源的发布状态。如发布失败可点击发布日志查看具体失败原因。

1.【发布包发布】同一资源类型支持批量选择发布内容

• 功能介绍：
  • 发布包发布页，针对可选择发布内容的资源类型（如离线开发任务），支持批量选择发布内容。
  • 点击“批量选择”按钮，即可在气泡弹窗中批量选择发布内容，点击确定后会对当前发布包该资源类型的所有资源生效。

流程协作与通知中心

版本：v2.5.2

1. 新增第三方对接节点

• 功能介绍：
  • 用于对接第三方流程引擎，当工单流转到这一节点时，会自动在第三方流程引擎发起对应工单。

1. 网关节点支持查看所有分支条件并设置执行顺序

• 功能介绍：
  • 当网关节点关联分支条件较多时，可以直接点击网关节点，以列表形式查看所有分支条件并支持以拖拽的方式调整分支条件展示顺序。实际工单流转过程中，会按照分支条件展示的顺序依次遍历，当遍历到符合的第一个分支条件时，工单就会对应流转。

2. 支持添加自定义审批意见并用于设置网关分支条件

• 功能介绍：
  • 在审批节点中支持添加自定义审批意见，审批人在处理工单时，可通过快捷选项录入流转意见，并且支持用于后续作为网关节点分支判断条件。

控制台

版本：v1.8.0

1.【数据源管理】Doris增加“联邦查询”开关

• 功能介绍
  • 如同时需使用有数BI报表，为保证数据资产地图的BI报表血缘展示准确，请在此处登记Doris数据源并开启联邦查询开关，登记Doris的External Catalog（外部Catalog）和平台内置数据源间的关联关系。后续在BI中登记的这类Doris数据源（底层关联的Catalog元数据为iceberg），系统支持打通BI和中台的血缘，在中台iceberg表详情的血缘模块中支持查看下游的BI报表。