数据传输

版本：v3.44.0

1、【离线】离线同步任务，新建任务，数据来源选择API数据源时，支持游标分页

2、【实时同步】实时传输支持同一数据源下面，多个库的表同时同步 新建任务时，选择数据源之后，库可以切换，然后在切换的库下勾选对应的表

离线开发

版本：v7.19.1

【项目中心-资源管理】Yarn队列新增绝对值配置模式；

• 背景：

  • 原本Yan队列的CS调度模式下，支持通过修改计划申请内存配额，折算为最大可用容量占比，并设置实际最大可用CPU配额、实际最大可用内存配额。对于队列支持的最小保障配额，系统也会参考该占比进行默认配置。但是，对于部分队列较多，需要精细化管理队列资源的场景，该种模式可配置项比较固化。因此，新增了绝对值配置模式。

• 功能介绍：

  • 绝对值配置模式，从LTS 10.0 Update05开始灰测，需要开启时，需要运维人员从后台操作配置切换、验证。切换后的效果为，所有配置改为绝对值配置方式，新增了最小保障容量（Capacity）、用户最小资源百分比（minimum-user-limit）、用户资源倍数因子（user-limit-factor）等可配置的参数。

版本：v7.19.0

1.【自助分析】配置管理，新增支持query终止控制功能。

• 功能介绍：
  • 在自助分析的配置管理中，针对项目配置，支持配置query终止控制功能；
  • query终止控制，支持指定队列终止策略配置，可以指定某集群下的队列，配置管控时间段，在管控时间段内，可选择禁止在此时间段内提交query以及自动终止此时间段内已运行的query；
  • 在普通队列终止策略配置页面，支持选择触发时间点，每天到达该指定时间点时，对所有正在运行的query执行指定的处理策略，包括终止运行时长超过多少分钟的query或者终止全部。
  • 若没有配置指定队列终止策略，则普通队列终止策略将全局生效，若同时配置了指定队列终止策略，则普通队列终止策略将针对未配置在指定队列的普通队列生效。

2.【离线开发】自定义参数列表及参数配置列表，支持文本批量解析参数；

• 功能介绍：
  • 在离线开发的开发模式，任务试运行的弹窗，以及调度配置中，针对自定义参数配置，支持通过文本形式批量添加参数；
  • 针对参数组的参数配置，支持通过文本形式批量添加参数；
  • 针对单个节点的输入参数设置，支持通过文本形式批量添加参数；
  • 针对单个节点，在配置数据质量监控任务时，针对set属性，支持通过文本形式批量添加参数。

3.【自助分析】数据源类型新增支持oceanbase类型。

• 功能介绍：
  • 自助分析的数据源类型新增oceanbase数据源类型，可基于该数据源类型执行SQL查询；

1.自助分析的query暂停按钮交互优化，防止误点终止了正在运行的query。

2.选择节点优化功能边界，增加hover提示说明，选择节点仅支持单层、闭环的条件分支结构，不支持嵌套使用(比如不允许在A选择节点的分支内，再嵌套B选择节点，形成多层级选择嵌套结构)；

任务运维中心

版本：v1.24.0

1.配置管理的运维操作配置，新增重跑相关配置功能；

• 功能介绍
  • 配置管理中，运维操作管理，新增重跑配置，可配置暂停重跑时间窗口以及终止重跑控制；
  • 重跑的时间窗口控制中，可以选择暂停重跑的时间窗口，其中，项目管理员和负责人可强制重跑，当日值班仅可对其负责的基线下的任务实例执行重跑，任务负责人仅可对归属于自己的任务实例执行重跑；
  • 重跑终止控制策略，支持选择生效时间点，每天到达生效时间点时，对所有正在运行的重跑任务执行终止，可选择终止运行时长超过多少分钟的重跑任务或者全部终止；
  • 相关页面功能适配，包括周期实例运维页面新增暂停重跑的时间窗口以及终止运行重跑实例的提示等。

2.补数据任务，新增补数据实例优先级功能；

• 功能介绍
  • 创建补数据任务的第三步，新增支持补数据实例优先级字段，默认为L1；
  • 修改补数据实例优先级，将作用于补数据下所有的任务实例，仅在本次补数据运行中生效，不会修改其下任务原优先级，不影响任务的周期实例运行的优先级。

3.配置管理，补数据审批配置，新增支持根据补数据实例优先级审批的功能；

• 功能介绍
  • 配置管理中，补数据配置管理页面，新增基于补数据实例优先级进行审批的功能。
  • 补数据的审批策略支持两种，原有的任务文件夹方式，将按补数据下任务所在的文件夹圈定范围，同一文件夹只能配置在一个分组中；新增的实例优先级审批，会按照补数据实例优先级圈定范围；
  • 若仅配置文件夹，存在交叉时，按照精确匹配，优先命中子文件夹对应分组；若同时配置文件夹和实例优先级或仅有实例优先级，存在交叉时，按照列表分组顺序，第一个命中的分组生效，建议精确分组优先配置。

4.任务运维的自定义参数列表，支持通过文本解析的方式批量添加参数；

• 功能介绍
  • 周期实例运行、重跑下游、批量补数据等相关自定义参数页面，均支持通过文本解析的方式批量添加自定义参数。

5.补数据任务的详情页和补数据列表，新增支持实例列表最大化能力；

• 功能介绍
  • 在补数据的任务详情页以及补数据的任务列表，在查看实例列表时，新增支持最大化功能，在弹窗中可查看更多的实例信息。

1.补数据配置管理的分组交互优化，新增运维操作管理，支持补数据配置和重跑配置，优化补数据配置的页面展示逻辑；

2.创建补数据任务时，触发审批的弹窗交互优化。

数据治理360

版本：v3.2.12

1.配置管理，新建表生命周期策略，支持根据建表时间过滤，新增正则匹配结果过滤、支持查看受影响的表，且支持发送通知。

• 功能介绍：
  • 在配置管理中，新建表生命周期策略，新增支持建表时间过滤，可选择建表时间大于某个时间点用来筛选符合条件的表；
  • 新建表生命周期策略，调整字段顺序，更新方式优先确认；
  • 在查看正则匹配结果时，列表内容更新为同时满足了更新方式、表创建时间、正则表达式规则的数据；
  • 策略配置完成后，支持查看受影响的表，需要进行表检测，检测完成后，可查看当前时间点受本次策略配置影响的表；
  • 在受影响的表预览页面，支持发送即时影响通知给对应的表负责人，支持选择通知方式；
  • 在表生命周期策略的列表中，同样支持发送通知给表负责人，支持重新检测受影响的表。
  • 针对因配置了表生命周期策略后而更新的表，系统默认每晚9点检测符合策略条件的表，并自动对生命周期进行更新，同时会给表负责人发送变更通知。

2.生命周期诊断页面，新增生命周期策略而受影响的表清单；

• 功能介绍：
  • 在生命周期诊断页面，列表右上角新增命中生命周期策略的表清单列表；
  • 列表展示因生命周期策略而受影响并修改的表，该列表仅保留近7天的数据
  • 列表支持查看库名、表名、命中策略、更新前、更新后的生命周期配置，同时显示更新状态，若更新失败，也可以查看具体的失败原因。

3.目录分析页面，支持批量上传excel的方式设置目录生命周期。

• 功能介绍：
  • 目录分析列表，新增批量导入目录生命周期的功能；
  • 在批量导入目录生命周期页面，支持上传excel文件批量配置目录生命周期，目前文件行数需不超过50行；
  • 支持批量导入目录生命周期的模板下载，上传的excel中的目录路径，支持全路径或者仅填写默认目录后的内容均可。
  • 上传完成之后，支持对上传的excel的合规性进行检测。

4.目录分析页面，列表右上角新增目录生命周期修改清单。

• 功能介绍：
  • 目录分析列表的右上角，新增目录生命周期修改清单入口，可查看因"批量导入目录生命周期"操作而由系统操作的相关目录及其生命周期的更新状态；
  • 支持在列表中查看路径名称、类型、状态和更新时间，若更新失败，也支持查看失败的具体原因。

控制台

版本：v1.19.1

1.【控制台-平台管理-基础配置-资源管理】新增「Yarn」菜单，支持平台级统一查看与配置集群下所有队列资源；

• 背景：

  • 原本Yan队列的CS调度模式下，支持通过修改计划申请内存配额，折算为最大可用容量占比，并设置实际最大可用CPU配额、实际最大可用内存配额。对于队列支持的最小保障配额，系统也会参考该占比进行默认配置。但是，对于部分队列较多，需要精细化管理队列资源的场景，该种模式可配置项比较固化。因此，新增了绝对值配置模式。
    • 队列的资源修改原仅支持在项目中心按单队列申请，缺少平台侧的全局视图与批量调整能力；
    • 绝对值配置模式下，各标签（Label）下队列最小保障容量之和受总配额约束，负责人申请超限时需平台管理员统一调整，故需在控制台提供平台级配置入口。

• 功能介绍：

  • 绝对值配置模式，从LTS 10.0 Update05开始灰测，需要开启时，需要运维人员从后台操作配置切换、验证。切换后的效果为，所有配置改为绝对值配置方式，新增了最小保障容量（Capacity）、用户最小资源百分比（minimum-user-limit）、用户资源倍数因子（user-limit-factor）等可配置的参数。
  • 此处，支持超级管理员、平台管理员在全局视角进行统一资源调配，修改队列资源。