版本:v7.14.2

1.【离线开发】支持回收站功能

  • 功能介绍:

    • 离线开发被删除后,任务会进入回收站。回收站默认保留近30天删除的任务,到期后系统自动永久删除任务。
    • 在回收站内,支持还原任务。还原任务时,如原负责人或所属文件夹不存在,会提示用户重新选择负责人和所属文件夹。
    • 在回收站内,支持删除单个任务,以及清空回收站。在回收站删除任务后,任务永久删除,且无法恢复。
    • 在安全中心-安全审计-操作审计日志,支持查看在回收站删除任务和还原任务的事件日志。
    • 回收站权限说明:对于项目负责人/项目管理员,支持查看、删除、还原当前项目-集群下的所有任务;对于项目负责人/项目管理员以外的项目成员,支持查看、删除、还原当前项目-集群下本人作为负责人和删除人的任务。
    • 在“设置-项目配置-基础配置-回收站设置“模块,支持由项目负责人和管理员修改当前项目的回收站任务保留期限和配置删除提醒。开启提醒后,可在相应的时机向通知人发送提醒,避免任务被永久删除后无法恢复。
  • 功能详细使用步骤:

    • 功能入口:点击后,即可进入回收站。

更新合辑(2025年) - 图1

版本:v7.14.1

新增功能

1.【离线开发+自助分析】支持执行Doris存储过程

  • 功能介绍:
    • 离线开发的Doris节点和自助分析的Doris数据源,支持执行Doris存储过程。 不支持存储过程表和字段血缘。
功能优化

1.【离线开发】离线同步节点相关交互优化

  • 功能介绍:
    • 此前存在的问题是:用户在离线同步节点选择了无编辑权限的离线同步任务,保留离线开发任务时会由于无权限保存失败。以及离线开发任务提交上线时,如果用户没有引用的离线同步任务的提交权限,也会提交上线失败。
    • 故此版本进行了交互优化。在离线同步节点引用详情选择任务时,该用户无编辑权限的任务置灰不可选。在提交上线离线开发任务时,提交上线检测中会检测用户是否有传输任务的提交上线权限,无权限则检测不通过阻断提交。

版本:v7.14.0

新增功能

1.【离线开发】支持批量配置质量监控

  • 功能介绍:
    • 支持批量移除节点配置的质量监控,支持基于批量选择的质量监控任务来批量新建配置了质量监控的虚拟节点。
    • 仅当用户有任务的“新建和编辑节点、运行、运行设置、结果预览、调度设置、报警设置”权限时可操作。
  • 功能详细使用步骤:
    • 功能入口:

更新合辑(2025年) - 图2

2.【离线开发】批量操作新增“操作历史”,支持查看历史操作记录

  • 功能介绍:
    • 批量操作支持查看操作历史,操作历史中会展示已执行完成和执行中的批量操作的操作人、操作类型、操作明细、状态等信息。
    • 默认仅保存180天内的操作历史,如需调整保存期限请联系平台运维人员操作。
  • 功能详细使用步骤:
    • 功能入口:

更新合辑(2025年) - 图3

3.【离线开发】任务调度设置的“原始优先级”功能支持针对离线同步节点生效

  • 功能介绍:
    • 针对CS调度的Yarn集群,SQL节点、离线同步节点、Spark节点和MR节点,在线上调度时,支持将任务的优先级传递给Yarn队列来执行,高优先级任务优先获取Yarn资源。其中Spark引擎需要3.0以上。
功能优化

1.【离线开发+自助分析】Doris和StarRocks新增代码扫描规则

  • 功能介绍:
    • 在离线开发和自助分析模块,新增代码扫描规则,具体包含:表跨层依赖、select字段和插入表字段数量不一致、select字段和插入表字段名称或类型不一致、表关联on字段类型不一致。

2.【离线开发】执行引擎为Spark的节点提交方式优化

  • 功能介绍:
    • 针对升级此版本后新建的任务,改为使用spark-submit命令行方式提交任务,历史任务不受影响。
    • 优化背景是: Spark的标准提交方式是通过Spark-submit命令行拼接实现的。而我们当前的任务提交方式是通过反射调Spark main 启动任务。这是一个非常规的提交方式,会导致我们的任务进程、spark的提交进程和spark clinet模式的 driver进程之间耦合,并相互影响。此外,随着Spark的版本迭代,也逐步抛弃了我们当前使用的 Spark mian方法,改为了 spark launcher main方法,这也导致不兼容情况日益增多,亟须解决。

3.【自助分析】SQL切分优化,解决SQL语句分号后带空格就会报错的问题