版本:v7.14.3

新增功能

1.【离线开发】支持设置节点代码模板

  • 功能介绍:
    • 针对以下节点类型:SQL、Python、DB2、达梦、Doris、GaussDB、GPSQL、Oceanbase、SQLServer、StarRocks、TiDB、VerticaSQL、Shell、Perl,支持由项目负责人/管理员在配置管理-项目集群配置-基础配置-节点默认设置中设置节点代码模板。
    • 设置代码模板后,该项目-集群下新增节点时代码默认填充此模板,不影响历史节点。
    • 代码模板支持变量 :${Author}、${CreateTime},分别表示节点的创建人的用户名和创建时间(变量值格式如:2025-01-01 00:00:00)。
  • 功能详细使用步骤:

    • 功能入口:

      更新合辑(2025年) - 图1

2.【离线开发】支持下载代码搜索结果

  • 功能介绍:
    • 支持将搜索到的结果下载为Excel文件。下载结果条数上限与可查看的结果条数上线保持一致,最多支持下载100条结果。
  • 功能详细使用步骤:

    • 功能入口:

      更新合辑(2025年) - 图2

3.【离线开发】对接控制台,支持使用控制台管理的Python环境

  • 功能介绍:
    • 在控制台当前项目组-集群下注册Python环境后,在离线开发任务开发模式支持选择授权给当前项目、可用性为已启用、使用范围包含该执行模式的Python环境。此外,离线开发任务提交上线时,提交上线检测中会判断节点/任务调度设置中选择的Python环境是否已存在(强规则)和Python环境的开发模式和线上模式是否一致(弱规则),其中已存在的判断条件包含:发布状态是否为已发布或修改待发布、可用性为已启用、授权项目包含当前项目、使用范围包含选择的执行模式。
    • 离线开发任务开发模式运行时,使用最新编辑的python环境;线上模式运行时,使用最新发布版本的python环境。
    • 离线开发任务通过发布中心发布时,如发布到开发模式,则检测接收方是否存在1)环境标识相同、2)状态为未发布或已发布或修改待发布,可用性为已启用 3)授权项目包含当前项目、4)使用范围包含选择的执行模式 的开发模式Python环境;如发布到线上模式,则检测接收方是否存在1)环境标识相同、2)状态为已发布或修改待发布、可用性为已启用 3)授权项目包含当前项目4)使用范围包含选择的执行模式 的线上模式Python环境。
功能优化

1.【项目中心】注册库的库名称取消不能以"_dev"结尾的限制

  • 功能介绍:
    • 此前考虑到数据沙箱功能会为正式库注册"_dev"结尾的测试库,为避免正式库和测试库混淆,注册库时库名称不允许以"_dev"结尾。由于数据沙箱功能不再对外开放,所以针对未使用数据沙箱功能的客户环境,注册库的库名称取消不能以"_dev"结尾的限制。

版本:v7.14.2

新增功能

1.【离线开发】支持回收站功能

  • 功能介绍:

    • 离线开发被删除后,任务会进入回收站。回收站默认保留近30天删除的任务,到期后系统自动永久删除任务。
    • 在回收站内,支持还原任务。还原任务时,如原负责人或所属文件夹不存在,会提示用户重新选择负责人和所属文件夹。
    • 在回收站内,支持删除单个任务,以及清空回收站。在回收站删除任务后,任务永久删除,且无法恢复。
    • 在安全中心-安全审计-操作审计日志,支持查看在回收站删除任务和还原任务的事件日志。
    • 回收站权限说明:对于项目负责人/项目管理员,支持查看、删除、还原当前项目-集群下的所有任务;对于项目负责人/项目管理员以外的项目成员,支持查看、删除、还原当前项目-集群下本人作为负责人和删除人的任务。
    • 在“设置-项目配置-基础配置-回收站设置“模块,支持由项目负责人和管理员修改当前项目的回收站任务保留期限和配置删除提醒。开启提醒后,可在相应的时机向通知人发送提醒,避免任务被永久删除后无法恢复。
  • 功能详细使用步骤:

    • 功能入口:点击后,即可进入回收站。

更新合辑(2025年) - 图3

版本:v7.14.1

新增功能

1.【离线开发+自助分析】支持执行Doris存储过程

  • 功能介绍:
    • 离线开发的Doris节点和自助分析的Doris数据源,支持执行Doris存储过程。 不支持存储过程表和字段血缘。
功能优化

1.【离线开发】离线同步节点相关交互优化

  • 功能介绍:
    • 此前存在的问题是:用户在离线同步节点选择了无编辑权限的离线同步任务,保留离线开发任务时会由于无权限保存失败。以及离线开发任务提交上线时,如果用户没有引用的离线同步任务的提交权限,也会提交上线失败。
    • 故此版本进行了交互优化。在离线同步节点引用详情选择任务时,该用户无编辑权限的任务置灰不可选。在提交上线离线开发任务时,提交上线检测中会检测用户是否有传输任务的提交上线权限,无权限则检测不通过阻断提交。

版本:v7.14.0

新增功能

1.【离线开发】支持批量配置质量监控

  • 功能介绍:
    • 支持批量移除节点配置的质量监控,支持基于批量选择的质量监控任务来批量新建配置了质量监控的虚拟节点。
    • 仅当用户有任务的“新建和编辑节点、运行、运行设置、结果预览、调度设置、报警设置”权限时可操作。
  • 功能详细使用步骤:
    • 功能入口:

更新合辑(2025年) - 图4

2.【离线开发】批量操作新增“操作历史”,支持查看历史操作记录

  • 功能介绍:
    • 批量操作支持查看操作历史,操作历史中会展示已执行完成和执行中的批量操作的操作人、操作类型、操作明细、状态等信息。
    • 默认仅保存180天内的操作历史,如需调整保存期限请联系平台运维人员操作。
  • 功能详细使用步骤:
    • 功能入口:

更新合辑(2025年) - 图5

3.【离线开发】任务调度设置的“原始优先级”功能支持针对离线同步节点生效

  • 功能介绍:
    • 针对CS调度的Yarn集群,SQL节点、离线同步节点、Spark节点和MR节点,在线上调度时,支持将任务的优先级传递给Yarn队列来执行,高优先级任务优先获取Yarn资源。其中Spark引擎需要3.0以上。
功能优化

1.【离线开发+自助分析】Doris和StarRocks新增代码扫描规则

  • 功能介绍:
    • 在离线开发和自助分析模块,新增代码扫描规则,具体包含:表跨层依赖、select字段和插入表字段数量不一致、select字段和插入表字段名称或类型不一致、表关联on字段类型不一致。

2.【离线开发】执行引擎为Spark的节点提交方式优化

  • 功能介绍:
    • 针对升级此版本后新建的任务,改为使用spark-submit命令行方式提交任务,历史任务不受影响。
    • 优化背景是: Spark的标准提交方式是通过Spark-submit命令行拼接实现的。而我们当前的任务提交方式是通过反射调Spark main 启动任务。这是一个非常规的提交方式,会导致我们的任务进程、spark的提交进程和spark clinet模式的 driver进程之间耦合,并相互影响。此外,随着Spark的版本迭代,也逐步抛弃了我们当前使用的 Spark mian方法,改为了 spark launcher main方法,这也导致不兼容情况日益增多,亟须解决。

3.【自助分析】SQL切分优化,解决SQL语句分号后带空格就会报错的问题