数据传输

版本:v3.43.0

新增功能

1.【离线】spark3引擎下,创建单个离线传输任务,向导模式下,去向支持doris4.0

2.【离线】实时传输flinkcdc支持mysql8.4

离线开发

版本:v7.18.0

新增功能

1.【离线开发】功能权限方案细化,任务调度和报警设置权限拆分;

  • 功能介绍:
    • 在功能权限中,针对离线开发任务的调度和报警设置权限进行了拆分,可以单独对任务的调度和报警配置权限;
    • 调度和报警权限拆分的相关功能适配,包括上传任务包等。

2.【离线开发&自助分析】支持spark4版本的语法检查;

  • 功能介绍:
    • 在离线开发和自助分析执行SQL查询,若引擎版本是spark4,语法检查进行适配;

功能优化

1.CDP升级到7.1.9版本进行功能适配,包括easyops、azkaban和自助分析等产品;

2.修复通过导入任务包的方式,能将原本无权限的任务挂载到有权限的任务上游的问题;

3.spark版本选择组件交互优化,若默认的spark版本不存在,则置空;

4.轻量化场景适配,新增支持安全中心数据识别轻量化场景的功能判断;

5.自助分析doris用户鉴权支持传入当前执行用户,该功能默认为关闭,不影响现有使用姿势。

任务运维中心

版本:v1.23.0

新增功能

1.基线诊断,甘特图模式新增任务内节点的开始时间;

  • 功能介绍
    • 基线诊断,基线挂载任务的执行时间情况,针对甘特图模式,新增展示任务内第一个节点的开始执行时间,hover时可查看任务和第一个节点开始执行时间。

2.基线诊断,新增基线挂载任务的健康诊断功能;

  • 功能介绍
    • 基线诊断,基线挂载任务的执行时间情况,右侧新增基线挂载任务的健康诊断;
    • 第一个sheet展示任务等待异常分析,展示当前基线所绑定的各任务实例的执行时间和等待时间,便于优化上下游调度时间配置进行判断;
    • 第二个sheet展示调度依赖诊断,展示当前基线所绑定的各任务实例缺少的依赖项和多余的依赖项,方便优化依赖配置。

功能优化

1.前端漏洞问题修复;

2.慢查询性能优化,增加索引变更。

数据质量中心

版本:3.16.9

新增功能

1.openapi功能增强。

  • 功能介绍:
    • 新增任务管理、规则管理、规则模板、问题工单等OpenAPI接口;
    • 更新质量监控执行/结果接口

发布中心

版本:1.11.0

功能优化

1.修复hive表中字段包含ontime,导致发布报错且发布工单创建失败的问题。