版本:v7.14.0

新增功能

1.【离线开发】支持批量配置质量监控

  • 功能介绍:
    • 支持批量移除节点配置的质量监控,支持基于批量选择的质量监控任务来批量新建配置了质量监控的虚拟节点。
    • 仅当用户有任务的“新建和编辑节点、运行、运行设置、结果预览、调度设置、报警设置”权限时可操作。
  • 功能详细使用步骤:
    • 功能入口:

更新合辑(2025年) - 图1

2.【离线开发】批量操作新增“操作历史”,支持查看历史操作记录

  • 功能介绍:
    • 批量操作支持查看操作历史,操作历史中会展示已执行完成和执行中的批量操作的操作人、操作类型、操作明细、状态等信息。
    • 默认仅保存180天内的操作历史,如需调整保存期限请联系平台运维人员操作。
  • 功能详细使用步骤:
    • 功能入口:

更新合辑(2025年) - 图2

3.【离线开发】任务调度设置的“原始优先级”功能支持针对离线同步节点生效

  • 功能介绍:
    • 针对CS调度的Yarn集群,SQL节点、离线同步节点、Spark节点和MR节点,在线上调度时,支持将任务的优先级传递给Yarn队列来执行,高优先级任务优先获取Yarn资源。其中Spark引擎需要3.0以上。
功能优化

1.【离线开发+自助分析】Doris和StarRocks新增代码扫描规则

  • 功能介绍:
    • 在离线开发和自助分析模块,新增代码扫描规则,具体包含:表跨层依赖、select字段和插入表字段数量不一致、select字段和插入表字段名称或类型不一致、表关联on字段类型不一致。

2.【离线开发】执行引擎为Spark的节点提交方式优化

  • 功能介绍:
    • 针对升级此版本后新建的任务,改为使用spark-submit命令行方式提交任务,历史任务不受影响。
    • 优化背景是: Spark的标准提交方式是通过Spark-submit命令行拼接实现的。而我们当前的任务提交方式是通过反射调Spark main 启动任务。这是一个非常规的提交方式,会导致我们的任务进程、spark的提交进程和spark clinet模式的 driver进程之间耦合,并相互影响。此外,随着Spark的版本迭代,也逐步抛弃了我们当前使用的 Spark mian方法,改为了 spark launcher main方法,这也导致不兼容情况日益增多,亟须解决。

3.【自助分析】SQL切分优化,解决SQL语句分号后带空格就会报错的问题