版本：v7.11.0

1.离线开发支持拉取git上的任务

• 功能介绍：

  • 离线开发任务在“离线开发配置”中，支持配置“集成git”，实现任务提交上线时，将任务推送至git；
  • 目前版本，支持从推送的git，或者另行配置拉取git仓库地址，支持从git上按照任务标识/任务名称匹配方式，拉取节点代码，目前支持拉取SQL、Shell、Perl、逻辑数据源节点的代码。

• 功能详细使用步骤：

  • a.功能入口：如下图，为离线开发配置页面，在使用git拉取功能前，需要先配置推送git地址并开启“支持拉取”，或者直接配置“拉取git地址”，两者二选一。

    

    如下图，在完成上述配置后，离线开发左上角会出现“远程拉取任务”的入口：

    

    根据导引，选择git仓库中表示任务的文件夹，依次往下完成任务节点代码的拉取：

    

2.离线开发的分钟调度支持设置可执行的小时范围

• 功能介绍：

  • 调度周期为1-60分钟时，新增支持指定生效的分钟时间范围，比如09:30-15:30，没10分钟执行1次；
  • 该设置下，可同时叠加调度日历； -设置规则如下：用‘,’表示多个范围、用‘-’表示开始和结束时间。比如输入：08:00,15:00-16:00，调度生效时间设置：2024-01-01 08:00，调度周期为30分钟，则08:00、15:00、15:30、16:00这4个时刻，任务会执行。

• 功能详细使用步骤：

  • a.功能入口：任务开发模式调度设置，调度设置类型选择常规设置，调度周期设置为1分钟的，即可出现生效分钟设置。

    

3.离线开发新增DB2、SQLServer节点

• 功能介绍：

  • 离线开发新增DB2和SQLServer节点，支持通过该节点直连DB2和SQLSerever数据源进行操作。
  • 此类节点默认不可见和不可用，如需使用，涉及商务场景，可联系售前。

• 功能详细使用步骤：

  • a.功能入口：在多节点任务开发模式下，画布右侧

    

4.离线开发的轮询节点新增DB2、SQLServer节点，及前端页面改造

• 功能介绍：

  • 轮询节点，新增支持DB2、SQLServer数据源类型，使用前提是离线开发已启用DB2、SQLServer节点；
  • 轮询节点前端页面优化，支持直接执行，支持和任务内其它节点一起，在顶部进行tab切换。

• 功能详细使用步骤：

  • a.功能入口：

    

5.离线开发的小时调度当天全部的实例支持依赖上游当天的那个实例

• 功能介绍：

  • 任务的调度设置类型为“常规设置”时，支持设置“同周期依赖”，原先仅支持开启和关闭，当前版本对“同周期依赖”进行功能，支持3种设置：“按上游周期生效”、“按小周期生效”、“不生效”；
  • 按上游周期生效：针对上下游不同周期时，按照被依赖上游任务的周期单位进行同周期判断。设置为该项，则比如下游是1小时调度周期，上游是1天调度周期，则当天1小时调度的所有实例均依赖1天调度当天的那个实例；比如下游是1天调度周期，上游是1月调度周期，则当月1天调度的所有实例均依赖1月调度当月的那个实例；该设置即为原本同周期依赖打开的效果。
  • 按小周期生效：针对上下游不同周期时，按照当前任务和被依赖上游任务中周期较小者进行同周期判断。设置为该项，则比如下游是3小时调度周期，每小时的05分调度（假设00:05为首次），上游是1天调度周期，每天的03:10调度，此时同周期按照同1个小时判断，3小时调度的实例中，当天00:05的依赖1天调度前一天的03:10实例，当天03:05及之后的实例均依赖1天调度当天03:10实例。再比如下游是1天调度周期，每天03:05调度，上游是1月调度周期，每月3号03:10调度，此时同周期按照同1天判断依赖，1天调度的实例中，当月1号03:05、2号03:05均依赖1月调度前一天的03:10实例，当月3号03:05及之后的实例均依赖1月调度当月3号03:10实例；
  • 不生效：表示不开启同周期依赖，按照下游实例寻找上游最近一个实例的默认依赖；
  • 更多关于同周期的说明和案例，请参见用户手册对应章节。

• 功能详细使用步骤：

  • a.功能入口：离线开发任务开发模式调度设置的“调度设置类型”为“常规设置”时，可显示。

    

6.离线开发任务中有下游的节点删除或禁用时，支持记录查看“自动解除依赖的下游”

• 功能介绍：

  • 离线开发任务的开发模式下，存在下游依赖的节点被删除和禁用时，在修改历史中会记录下游的依赖快照。

• 功能详细使用步骤：

  • a.功能入口：任务开发模式下，禁用或删除某个有下游的节点，并保存任务。在修改历史中可查看自动解除依赖的下游。

    

    点击“查看自动解除依赖的下游”，可查看具体的下游快照。

    

7.离线开发的任务版本比对支持快捷切换有差异的节点

• 功能介绍：

  • 版本比对的节点信息，支持任务双击，查看节点信息，在查看弹框汇总，支持快速切换查看新增、修改、删除、无差异的节点。

• 功能详细使用步骤：

  • a.功能入口：版本比对中，双击节点，或者有差异的节点，点击“比对”

    

8.自助分析的执行数据源支持权限控制

• 功能介绍：

  • 自助分析Query中，支持选择数据源，包括默认类型和部分逻辑数据源。当前版本新增支持在安全中心通过权限控制，控制角色和成员查看的数据源类型范围。

• 功能详细使用步骤：

  • a.功能入口：安全中心-角色管理-项目级-角色-自助分析-功能权限，以及安全中心-角色管理-项目级-成员-自助分析-个人权限。

    

9.自助分析的代码扫描支持“alter”关键字

• 功能介绍：

  • 针对代码扫描，新增了“使用“alter”关键字”的规则。

• 功能详细使用步骤：

  • a.功能入口：

    

10.项目的存储配额报警支持不同配额设置不同报警

• 功能介绍： -针对项目所在集群下，存储资源减少时，支持配置在小于某个水位时进行报警；

  • 目前，支持最多启用3个规则，每个规则可独立配置触发规则、接受人、接收方式。

• 功能详细使用步骤：

  • a.功能入口：项目中心-资源管理-资源详情-存储配额

    

1.项目中心-资源管理中针对CS（容量调度）的集群支持显示实际最大可用的核数和内存

• 功能介绍：

  • 针对CS（容量调度）的集群，当前版本优化了展示，调整显示为最大可用CPU配额和内存配额。

• 功能详细使用步骤：

  • a.功能入口：项目中心-资源管理

    

2.自助分析对负责人和管理员的部分权限由默认支持改为走安全中心权限控制

• 功能介绍：
  • 自助分析目前大部分功能已经对接安全中心的权限，对于这部分功能权限，项目负责人和管理员默认都具有；
  • 当前版本，取消了这个默认逻辑，将权限统一到安全中心；
  • 权限包括：页面访问权限、个人和项目级共享Query的“复制结果、分享、下载”权限、项目级共享Query的“新建、查看、编辑、运行、复制结果”等权限、数据源选择并执行权限权限、执行引擎使用权限。

3.自助分析在队列、引擎失效时的提醒优化

• 功能介绍：
  • 针对已有Query执行时，如果已配置的队列或引擎失效，支持提醒。

1.离线开发的未上线任务不可查看修改历史问题修复

• 功能介绍：
  • 修复未提交上线的离线开发任务不支持查看修改历史的问题

版本：v7.10.0.2

1.离线开发&自助分析的库表信息展示逻辑调整

• 功能介绍：
  • 针对TDH底座，以及未对接安全中心Ranger进行权限管理的CDH底座，原本仅支持显示注册到当前项目的库表，当前版本优化为支持显示当前项目下库表，以及其它项目公开给当前项目的库表；
  • 库表公开可在安全中心操作。

版本：v7.10.0

1.离线开发&自助分析新增StarRcoks、Doris数据源的代码扫描支持

• 功能介绍：

  • 新增2种数据源类型，支持在离线开发提交上线时，扫描StarRocks、Doris节点的代码，进行阻断提交和提醒等功能，支持在自助分析执行时，进行阻断执行和提醒等功能。

• 功能详细使用步骤：

  • a.功能入口：如下图为自助分析配置管理-代码扫描的配置页面

    

2.离线开发&自助分析适配轻量化（去hadoop）

• 功能介绍：
  • 平台私有化部署时，支持不部署hadoop相关组件，可支持基于StarRcoks、Doris等数据源作为大数据开发的数据来源的轻量化部署方案，离线开发&自助分析等进行了页面去hadoop元素适配。

3.离线开发质量监控支持“自动重试策略”

• 功能介绍：

  • “自动重试策略”指当前质量监控的强规则检测结果为“异常”（节点会失败），所属节点或任务有配置自动重试时，自动重试的生效策略。支持设置为立即失效活继续生效。立即失效：指节点停止重试，将节点状态置为失败；继续生效：指节点会继续重试，直到节点运行成功或达到重试次数。
  • 使用场景说明：一种场景是，期望质量监控失败后，节点即使有自动重试，也期望节点立即失败，另一种场景是，期望通过质量监控失败，来实现上游数据等待的功能，因此期望质量监控失败后，节点继续进行重试。

• 功能详细使用步骤：

  • a.功能入口：

    

4.离线开发针对已提交上线锁定的任务支持刷新功能

• 功能介绍：

  • 离线开发任务支持提交上线时走工单审批，工单审批通过后，任务列表不会自动刷新，此次新增了鼠标移动到任务上，显示刷新图标，右键菜单中也增加了“刷新”按钮，支持刷新被锁定的任务。如果工单已被审批通过，则刷新后，会解锁该任务。

• 功能详细使用步骤：

  • a.功能入口：

    

1. 已开通离线开发任务提交上线自动提交git的场景下，修复了“调度设置中保存并提交调度”、“报警设置中保存并提交报警”不会触发git提交的问题

版本：v7.9.0

1.自助分析支持使用doris新建和查询带中文表名和字段的表

• 功能介绍：

  • 自助分析，query中使用doris数据源，新增支持建表时，表名和字段名称支持中文

• 功能详细使用步骤：

  • a.功能入口： 下图为执行建表示例

    

2.自助分析运行结果支持邮件发送

• 功能介绍：

  • 自助分析运行结果支持分享，可通过直接复制结果链接发送给其它用户，或邮件发送方式，将结果链接发送给其它用户
  • 分享需要获取“复制结果、分享、下载”的权限
  • 分享时，如果命中审批策略，则在审批通过后，系统才会通过邮件发送结果链接
  • 支持在高级运行时，同时开启自动分享功能

• 功能详细使用步骤：

  • a.功能入口： 在自助分析运行结果-结果预览中

    

    点击分享结果的弹框

    

3.自助分析支持PostgreSQL数据源

• 功能介绍：

  • 自助分析中，新增PostgreSQL数据源。

• 功能详细使用步骤：

  • a.功能入口： 自助分析Query的数据源切换处，可选择有权限的PostgreSQL数据源

    

4.离线开发的Hive表有更新但产出任务未提交支持提醒

• 功能介绍：

  • 针对离线开发操作SQL节点和Hive表，容易出现Hive表已经修改，但是任务未提交的场景，导致任务夜间执行失败。
  • 系统没填22点，会扫描有ddl变更的hive表，在修改时间之后表的产出任务（元数据中心的活跃血缘）无提交上线记录（生成版本），则会通过邮件、IM（不含短信，看客户环境支持的渠道，如企业微信、钉钉、飞书等）将相关的任务和表发送给任务负责人
  • ddl变更指：修改列、表结构替换、新增列

• 功能详细使用步骤：

  • a.功能入口： 如下图为邮件通知

    

1.离线开发提交上线审批支持设置审批的内容范围

• 功能介绍：

  • 离线开发，提交上线支持审批，当前版本新增了对提交上线需要审批的内容支持设置，包括任务包、调度设置、报警设置。

• 功能详细使用步骤：

  • a.功能入口： 如下图离线开发配置-基础设置-提交上线设置中，强制走工单审批设置的审批内容，支持设置提交上线的不同内容进行审批。

    

2.自助分析数据源切换优化

• 功能介绍：

  • 自助分析数据源切换，优化了切换方式，鼠标移动到数据源上，可显示下拉箭头，点击后，可切换数据源等

• 功能详细使用步骤：

  • a.功能入口：

    

3.自助分析新增GreenPlum 7.1的适配

• 功能介绍：
  • 自助分析，GreenPlum数据源支持到7.1版本。

4.离线开发调度设置中任务支持跳转

• 功能介绍：

  • 离线开发任务的开发模式和线上模式、修改历史和版本比对中任务的版本详情中，调度设置中配置的上游任务依赖，当前版本新增了支持新标签页跳转到离线开发的任务详情页面

• 功能详细使用步骤：

  • a.功能入口： 离线开发-调度设置-依赖设置中

    

5.离线开发配置依赖时支持展示末级节点

• 功能介绍：

  • 离线开发任务调度设置中，添加上游依赖，新增了节点是否为末级节点的编辑，并显示在第一行，方便用户选择该节点。

• 功能详细使用步骤：

  • a.功能入口： 离线开发任务的开发模式添加上游任务依赖

    

6.离线开发SQL节点中数据表支持查看表描述

• 功能介绍：

  • 离线开发的SQL节点，左侧显示的库表信息，鼠标移动到表上支持显示表描述

• 功能详细使用步骤：

  • a.功能入口：

    

7.离线开发运行结果支持全屏查看

• 功能介绍：

  • 离线开发运行结果，新增了全屏页查看的功能，同时查看嵌套流内循环执行的实例，也改为全屏页查看

• 功能详细使用步骤：

  • a.功能入口： 离线开发具体任务运行后的运行结果页面，选择某个示例

    

1.自助分析运行结果字段为timestamp格式时排序异常问题修复

• 功能介绍：
  • 针对自助分析查询结果为timestamp格式的列，修复了排序异常问题

版本：v7.8.0

1.离线开发节点支持自定义血缘功能

• 功能介绍：

  • 离线开发的SQL、逻辑数据源节点（如MySQL、Oracle等）、Python、Shell、Perl、Spark、Script、触发器，都支持设置自定义血缘。
  • 节点运行后，会推送配置的输入输出表信息到表血缘数据中。

• 功能详细使用步骤：

  • a.功能入口：
    • 在节点的其它设置中：

2.离线开发调度设置中智能推荐依赖扩大支持的节点范围

• 功能介绍：

  • 离线开发调度设置，原本仅支持SQL节点的智能推荐，当前版本支持了节点配置自定义血缘，此类支持自定义血缘的节点也支持智能推荐依赖。
  • 智能推荐时，输入表来源包括节点解析和配置的自定义血缘中的输入表。
  • 产出来源节点推荐时，优先推荐开发模式配置了输出表的任务，其次是开发模式执行、线上调度、线上重跑、补数据、补数据重跑的任务。

• 功能详细使用步骤：

  • a.功能入口：
    • 开发模式任务调度设置，智能推荐弹框中：

1.离线开发

• 功能介绍：

  • 离线开发开发模式运行的运行结果做了优化，由弹框改为页面，支持链接分享，并补充了运行配置等快照信息。

• 功能详细使用步骤：

  • a.功能入口：
    • 点击任务开发模式的“结果”，即可进入运行结果页面。

版本：v7.7.1

1.离线开发新增“触发器节点”

• 功能介绍：

  • 触发器节点是新增的一种节点类型，用于解决和外部平台调度系统的调度信号触发。
  • 举例：某外部系统会进行数据准备，完成后，需要通知本平台的节点运行，则可以在本平台增加一个触发器节点，用于接受外部系统的触发信号，运行中的触发器节点接收到成功信号后，触发器节点会变为成功状态，下游任务也可以开始运行。
  • 目前支持手动创建，或接口创建的方式，具体的使用方式参见手册中“触发器节点”的使用说明。

• 功能详细使用步骤：

  • a.功能入口：
    

2.离线开发任务支持通知下游

• 功能介绍：

  • 离线开发任务支持对开发模式或线上模式的一级下游任务负责人发送通知；
  • 支持对任务整体或选中的节点的下游发送通知。

• 功能详细使用步骤：

  • a.功能入口：

  • 如下图，任务名称右侧会显示“发送通知”图标：
    

  • 如下图，为发送通知的弹框：
    

  • 如下图，为有下游依赖的节点右键（开发模式和线上模式的均支持），支持快捷跳转发送通知，跳转时会自动带入节点名称：
    

3.自助分析支持文件和文件夹移动目录

• 功能介绍：

  • 自助分析的文件和文件夹新增了移动目录功能，支持直接拖动移动和右键移动。
  • 特别注意：“项目内共享文件夹”目前支持新建、查看、编辑、运行、下载等权限控制，文件移入或移出时，被移动文件会按照目标文件夹的权限重新授权。比如“项目内共享文件夹”下“文件夹2”对A授予了查看和编辑权限，“文件夹1”对A授予了查看、编辑和运行权限，则“文件夹1”下的“文件夹3”移动到“文件夹2”后，A用户不可再运行该文件夹下的任务。

• 功能详细使用步骤：

  • a.功能入口：
    
    

4.离线开发等支持对接TDH底座（使用ArgoDB）

• 功能介绍：
  • 当前版本新增了针对客户环境数据底座为TDH，使用ArgoDB共享Inceptor元数据场景下的适配。

1.离线开发轮询节点设置中“成功标识”增加“结果为NULL”和“结果非NULL”的选项

• 功能介绍

  • 原本的“成功标识”只有“有结果”和“固定值”，针对轮询结果为NULL和非NULL的细分场景，原本无法支持，此次新增了这2个选项

• 功能详细使用步骤：

  • a.功能入口：
    

版本：v7.7.0

1.离线开发的嵌套流节点支持动态循环执行

• 功能介绍：

  • 嵌套流节点支持设置循环执行，当前版本新增了基于上游输出参数，每次执行时可动态确定执行次数的功能。
  • 场景举例：某任务每天调度时，需要基于当日生成的日期，动态执行n次，比如当日生成了2024-06-08、2024-06-10、2024-06-11等日期，需要某个任务按照这3个日期分别作为参数传入，并执行3次，则可以通过如下方式实现：
    • 1）多节点任务中，拖入SQL节点（或其它支持输出参数的节点均可），编写获取动态日期的SQL语句，并设置输出参数；
    • 2）SQL节点下游增加嵌套流节点，配置引用的任务，并设置循环执行，引用SQL节点的输出参数，并按照动态执行的参数设置规则，设置参数；
  • 更多使用细节，可查看嵌套流节点中的说明。

• 功能详细使用步骤：

  • a.功能入口：
    

1.离线开发调度设置时增加开发和线上模式的调度信息展示

• 功能介绍：

  • 离线开发调度设置中，支持同时显示开发和线上模式的调度信息。

• 功能详细使用步骤：

  • a.功能入口：任务开发模式-调度设置-任务和节点设置依赖
    
    

2.优化离线开发的批量操作页面

• 功能介绍：

  • 当前版本对离线开发任务的批量操作页面进行了优化，支持点击任务名称跳转离线开发的任务编辑页面，增加任务路径、任务已修改未提交的标记显示。

• 功能详细使用步骤：

  • a.功能入口：离线开发左上角“批量操作”入口，进入后可查看批量操作页面（当前仅项目负责人和管理员可进入）
    
    

3.离线开发任务提交上线锁定时支持查看调度设置和报警设置

• 功能介绍：

  • 离线开发任务提交上线支持工单审批，此次优化了逻辑，针对任务审批被锁定时，可查看调度设置和报警设置。

• 功能详细使用步骤：

  • a.功能入口：
    

版本：v7.6.2

1.离线开发SQL节点的Kyuubi支持多集群

• 功能介绍：

  • SQL节点新增Kyuubi运行方式的集群选择功能，其中集群目前仅支持后台配置。
  • 离线开发配置中，SQL节点默认设置新增了Kyuubi集群模式设置。

• 功能详细使用步骤：

  • a.功能入口：
    
    

2.自助分析新增StarRocks数据源

• 功能介绍：

  • 自助分析支持使用StarRocks数据源直接进行数据查询。

• 功能详细使用步骤：

  • a.功能入口：
    

3.自助分析的StarRocks数据源支持查看存储过程信息

• 功能介绍：

  • 自助分析库表信息选择StarRocks的数据源、库后，如果库下存在存储过程，则支持展示存储过程信息，并支持复制存储过程名称和查看存储过程

• 功能详细使用步骤：

  • a.功能入口：
    
    

1.自助分析Query的数据源切换优化交互样式

• 功能介绍：

  • 自助分析Query的数据源切换最多有4项，导致顶部挤压，因此调整为下拉弹框设置的方式。

• 功能详细使用步骤：

  • a.功能入口：
    

版本：v7.6.1

1.用户支持修改已加入项目的角色

• 功能介绍：

  • 用户加入项目后，支持在用户中心，申请修改项目角色。申请后，会生成审批工单，项目负责人或管理员等审批通过后，成员角色会自动修改。
  • 对于项目负责人，仅支持自行手动修改自身角色，不支持申请。

• 功能详细使用步骤：

  • a.功能入口：
    
    

2.平台管理中支持设置超级项目组

• 功能介绍：

  • 在平台管理中，平台管理员可选择某一个项目组作为超级项目。用户通过超级项目组的项目访问数据资产地图时，可检索和查看平台所有项目组下的Hive库表、指标等。更细节的说明，请参见数据地图的用户手册。

• 功能详细使用步骤：

  • a.功能入口：
    

版本：v7.6.0

1.适配TDH底座

• 功能介绍：
  • 本平台默认对接NDH大数据底座，当前版本的离线开发、自助分析、项目中心、任务运维中心等产品适配了TDH底座，并使用TDH的Inceptor表替换Hive表。
  • 平台整体完成TDH对接需要，还需要本平台其它产品陆续适配。

2.离线开发任务报警设置支持配置报警群并指定人员

• 功能介绍：

  • 如果当前项目在“报警系统”产品中配置了群聊报警（目前需要运维后台配置），则离线开发任务开发模式报警设置中，添加报警时支持添加群聊报警。
  • 目前支持的报警渠道有钉钉群、飞书群、企业微信群，并支持选择具体的群聊，以及设置“指定人员”。 “指定人员”，可选择“个人报警接收人”中已勾选的接收者，配置者需要确保这些人员在平台中配置了手机号，系统会根据手机号查找群聊中的人员，并@这些人员。

• 功能详细使用步骤：

  • a.功能入口：
    

版本：v7.5.1

1.离线开发任务支持批量操作

• 功能介绍：

  • 离线开发新增批量操作，支持批量提交上线、转交任务、取消调度、修改调度生效时间。
  • 当前仅项目负责人和管理员可进入和操作。

• 功能详细使用步骤：

  • a.功能入口：
    
    

2.离线开发的部分节点支持多Tab编辑

• 功能介绍：

  • 离线开发多节点任务中，支持同一个任务内顶部多tab展示任务内的节点
  • 目前仅部分节点支持，包括SQL类节点、Shell、Python、Perl等

• 功能详细使用步骤：

  • a.功能入口：
    

3.离线开发新增Doris、StarRocks节点

• 功能介绍：

  • 离线开发中新增Doris、StarRocks节点，支持在节点中选择有权限的数据源，进行数据开发

• 功能详细使用步骤：

  • a.功能入口：
    

4.离线开发的选择节点支持使用script节点的outputs参数

• 功能介绍：

  • 离线开发的选择节点选择“根据上游节点输出参数”这一选择逻辑时，支持指定第n行第n列的方式使用上游输出参数，而Script节点的输出参数，默认按照字符串方式输出，因此原本选择节点无法直接使用Script节点的输出参数。
  • 当前版本针对选择节点，新增直接使用Script完成输出参数的功能，由选择节点对完整内容进行判断。

• 功能详细使用步骤：

  • a.功能入口：
    

5.自助分析支持StarRocks数据源

• 功能介绍：
  • 自助分析数据源展示和显示中，StarRocks数据源。

1.离线开发任务被运维或OpenAPI直接修改线上信息时提示增强（@前端）

• 功能介绍：

  • 离线开发任务，支持任务运维中心和OpenAPI直接修改线上模式调度信息，当前版本在修改历史和版本记录记录中，针对此类操作都增加了记录。

• 功能详细使用步骤：

  • a.功能入口：
    

2.离线开发任务快速还原支持还原调度设置和报警设置

• 功能介绍：

  • 针对任务快速还原，如果线上模式的版本中包含了调度设置和报警设置，则支持同时还原任务包、调度和报警。
  • 针对先线上模式最新的版本为平台调度设置和报警设置功能前置之前提交的，则仅支持还原任务包。

• 功能详细使用步骤：

  • a.功能入口：
    

3.资源组目录层架调整到9层

• 功能介绍：

  • 资源组支持的文件深度由3层增加到9层。

• 功能详细使用步骤：

  • a.功能入口：
    

4.NDH底座下CS调度的Yarn队列隐藏无效的CPU核数信息

• 功能介绍：

  • 针对Yarn集群为CS调度时，新建项目、项目申请开通新集群、申请Yarn队列等，申请Yarn队列时，实际可用资源会按照“计划申请内存配额”进行计算分配，因此隐藏了“计划申请CPU配额”。

• 功能详细使用步骤：
  

5.离线开发任务自动重试的开始时间改为真正开始时间

• 功能介绍：

  • 离线开发任务的节点设置自动重试后，如果节点运行失败，会等待“重试间隔”设置的时间后再运行，原本的重试记录中，节点运行失败后，即会先开始运行，然后再等待“重试间隔”。此次调整为，等待“重试间隔”之后，才计算“开始时间”。

• 功能详细使用步骤：

  • a.功能入口：
    

6.离线开发任务运行超时时间改为不包含等待间隔

• 功能介绍：

  • 离线开发任务的节点支持设置运行超时时间，如果节点设置了自动重试，则原本的超时时间中，会计算重试间隔的时间，即比如运行超时时间设置1小时，重试间隔设置2小时，则会导致任务重试还未开始，即被终止。
  • 本次优化为有重试场景下，运行超时时间不计算重试间隔。

• 功能详细使用步骤：

  • a.功能入口：

    

版本：v7.5.0

1.离线开发任务常规调度设置中支持设置一天多次调度

• 功能介绍：

  • 离线开发任务的常规设置中，设置调度周期为1小时，支持指定需要调度的“生效小时”，范围为0-23，其中用‘,’表示多个小时的值、用‘-’表示小时范围。

    举例：比如设置调度生效时间：2024-01-01 10:35，设置生效小时为：0-8,10,15-20，则该任务在1月1日10点35分之后，小时在0-8点，10点，15-20点，每个小时的35分会执行，其中第一个计划执行时间为2024-01-01 15:35，第二个为2024-01-01 15:35。

• 功能详细使用步骤：

  • a.功能入口：

版本：v7.4.0

1.离线开发任务“同周期依赖”功能扩展

• 功能介绍：

  • 离线开发任务已有的“同周期依赖”，仅针对上下游都是常规调度，且调度周期都是1天，且上下游需要有相同的调度日历和日历生效模式。
  • 当前版本针对“同周期依赖”功能做了扩展，对于新创建的离线开发任务，当前任务的调度设置类型为“常规设置”时，会显示“同周期依赖”开关，且默认为开。切换到其它类型时，自动隐藏。对于新老任务，只要满足后图表格中列举的调度周期依赖场景，都支持同周期依赖。
  • 已有的任务，保持原本的同周期依赖逻辑。提交上线时，系统检测到存在新的满足同周期依赖的场景，则会在检测页面提示：提交上线后上游依赖任务同周期依赖变为生效状态。
  • 在任务调度设置页面，及线上模式下，调度依赖信息中会展示“同周期依赖生效”标记。

• 功能详细使用步骤：

  • a.功能入口： 离线开发任务开发模式-调度设置-依赖设置：
    

    同周期依赖说明
    

2.自助分析选择GaussDB后支持使用“脚本模式”运行SQL

• 功能介绍：

  • 自助分析选择GaussDB数据源后，会在数据源右侧出现“脚本模式”勾选框。勾选后，再运行SQL时，多语句的SQL会作为整体进行编译和提交，可用于存储过程定义等需要同时执行多条SQL的场景。
  • 未选中“脚本模式”时，系统会按照封号切割SQL语句执行，针对存储过程中存在封号的场景，运行会失败。

• 功能详细使用步骤：

  • a.功能入口：
    

3.自助分析下载支持项目组级角色审批

• 功能介绍：

  • 自助分析下载结果支持设置项目级审批人员，当前版本新增支持在项目组级别配置审批角色。
  • 当自助分析的结果下载时，系统会获取项目组和项目级配置的审批策略，按照策略优先级进行策略匹配，然后再获取对应审批人员。优先级：安全等级的策略（S4>S3>S2>S1）>下载行数超过上限的策略>所有数据的策略。
    • 举例：项目级仅设置了“安全等级为S3的策略”的审批人，项目组级仅设置了“安全等级为S4的策略”的审批人”，则自助分析下载数据中包含S4等级的数据时，命中“安全等级为S4的审批”，审批人为项目组级人员。

• 功能详细使用步骤：

  • a.功能入口：
    项目组负责人或管理员，可通过页面右上角“项目中心（新）”-左下角“项目组配置”-配置管理-自助分析下载强制项目组人员审批控制，进入到项目组粒度审批配置页面。
    

版本：v7.3.0

1.离线开发任务的开发模式提交上线支持提交全部、仅提交任务包、仅提交调度、仅提交报警4种

• 功能介绍：
  • 提交上线此次新增了针对任务的任务包、调度、报警，单独提交上线的功能。
  • 针对开发模式下，任务包、调度、报警的相关修改，对应的提交按钮上会显示小红点。比如仅修改了报警，则“提交全部”、“提交部分”和“仅提交报警”都会有小红点。
• 功能详细使用步骤：
  • a.功能入口：
    

2.离线开发任务的开发模式调度设置和报警设置时同时支持提交上线

• 功能介绍：
  • 调度设置和报警设置时，可以选择保存，或保存并仅提交调度，或保存并提交全部。
• 功能详细使用步骤：
  • a.功能入口：
    

3.离线开发任务的提交上线检测页面支持7大类检测

• 功能介绍：
  • 离线开发任务提交上线时，支持7大类检测，包括引用资源的有效性检测、强制开发模式测试检测、节点代码扫描检测、调度设置检测、报警设置检测、通用风险项检测和是否需要走工单审批检测。
  • 提交上线检测结束后，会有提交上线、提交工单或不可提交3种结果。
  • 检测结果中，包含通过、存在风险和未通过3种，如果未通过时，不可提交上线或提交工单；未通过和存在风险时，提交人需要关注对应的提示。
• 功能详细使用步骤：
  • a.功能入口：
    

4.离线开发的任务调度设置中新增Quartz Cron调度类型

• 功能介绍：
  • 针对离线开发任务需要月末最后一天调度的场景，原本的常规设置和Crontab调度类型都无法满足，本次新增了Quartz Cron调度类型，支持更丰富的调度周期设置，比如支持月末最后一天调度。
• 功能详细使用步骤：
  • a.功能入口：
    

5.离线开发的SQL节点新增Impala执行引擎

• 功能介绍：
  • 如果为NDH底座，且集群中包含Impala集群时，支持SQL节点的“其他设置”中，支持设置Impala执行引擎。
  • 在离线开发设置中，SQL节点默认执行引擎中，增加了Impala选项。
• 功能详细使用步骤：
  • a.功能入口：
    
    

6.离线开发的SQL类型的节点增加快捷操作提醒

• 功能介绍：
  • 节点中一些快捷操作，之前的版本中已经支持，此次增加了这些快捷操作的说明文案。
• 功能详细使用步骤：
  • a.功能入口：
    

7.自助分析下载的xls文件支持加水印

• 功能介绍：
  • 自助分析的配置管理中，支持设置自助分析下载内容的水印设置。自助分析的文件下载后，即可加上下载人员和下载时间的水印信息。
• 功能详细使用步骤：
  • a.功能入口：
    

1.离线开发的修改历史、版本列表等内容优化

• 功能介绍：
  • 前序版本支持了调度和报警前置，当前版本讲任务开发模式的修改记录和修改历史进行了合并，所有开发模式和线上模式的修改，均会记录到修改历史中。并且，在操作类型和操作内容上都做了内容展示优化。
• 功能详细使用步骤：
  • a.功能入口：
    

2.离线开发的GPSQL节点的血缘解析逻辑优化

• 功能介绍：
  • GPSQL节点中，官方语法说明中with语句需要写在insert into之前，但是有客户将with写在insert into和select语句中间，并且执行成功，因此当前版本针对该种场景做了适配，支持该种写法的表血缘。
  • 第二种场景为，使用符号“::”进行转换格式的场景，当前版本也做了语法适配。

版本：v7.2.4

1.离线开发任务python节点新增pyspark执行方式，可在线编写pyspark

• 功能介绍：
  • 原先离线开发运行pyspark需要使用spark节点，在节点中上传jar包。调整代码的时，需要在本地开发、打包、任务中上传文件等操作，比较繁琐。此次在python节点中增加了直接编辑pyspark的方式。
• 功能详细使用步骤：
  • a.功能入口：
    

2.离线开发任务SQL节点内增加编辑器快捷键说明

• 功能介绍：
  • 任务内SQL类节点支持诸多快捷键操作，此次增加了快捷键使用的说明
• 功能详细使用步骤：
  • a.功能入口：
    

3.质量监控节点支持使用任务的参数组参数

• 功能介绍：
  • 离线开发任务节点配置的质量监控，支持设置“参数透传”，支持将任务的参数组传递给质量监控节点。
• 功能详细使用步骤：
  • a.功能入口：
    

4.自助分析支持引擎功能权限控制

• 功能介绍：
  • 自助分析可通过安全中心，控制项目角色或成员是否可在某个项目-集群下使用某个执行引擎
• 功能详细使用步骤：
  • a.功能入口：
    
    

5.任务组任务支持“节点状态还原”

• 功能介绍：
  • 离线开发任务调度设置和报警设置前置后，线上模式节点的调度开启开关不再支持，需要由开发模式对节点右键进行禁用。对于任务组任务（商业化外部客户不支持该类型），原本都在本地维护，且节点不调度的设置方式都是提交任务包后，在线上模式不设置调度开启。调度设置和报警设置前置后，为适配任务组现有的使用场景，增加了“节点状态还原”功能。
  • 使用方式：任务组任务，对于已在线上调度的任务，上传任务包后，点击“节点状态还原”，可将线上模式不调度的节点状态更新到开发模式的节点中，再将任务提交即可实现将线上节点不调度状态和开发模式的保持一致。对于新任务，建议直接在编辑时设置上节点禁用的逻辑。
• 功能详细使用步骤：
  • a.功能入口：
    
    

1.任务修改历史中增加任务运维“修改调度生效时间”的修改记录

• 功能介绍：
  • 任务修改历史中，原本未记录任务运维的“修改调度生效时间”的操作，本版本补充了该类型的操作记录
• 功能详细使用步骤：
  • a.功能入口：
    

2.SQL编辑器支持表别名和字段别名提醒

• 功能介绍：
  • 编辑器中，针对查询表或字段设置别名后，在外层语句中支持按照新的别名提示。
• 功能详细使用步骤：
  • a.功能入口：
    

3.多节点任务内节点支持直接删除

• 功能介绍：
  • 多节点任务的画布中，如果需要删除某个节点，原先需要先删除节点下方的连线，再删除节点。本次优化为可可直接删除节点，同时会删除节点上下游的连线（如有）。
• 功能详细使用步骤：
  • a.功能入口：
    

4.任务开发模式的提交上线小红点逻辑优化

• 功能介绍：
  • 任务增删节点或修改节点内容后保存、资源及配置中修改作业资源、修改资源组、修改参数组、修改数据源、修改调度设置、修改报警设置时，提交上线会出现小红点。

5.任务部分节点为空时支持保存，以及回滚时引用失效时依然支持回滚

• 功能介绍：
  • 离线开发任务的数据识别，原本在拖入画布后，未选择数据识别任务时，不可保存，当前版本改为可以保存。
  • 针对历史任务回滚时，如果引用的资源失效，当前版本也改为支持保存。具体资源类型包括：离线同步节点引用的离线同步任务、数据识别节点引用的数据识别任务、低代码节点存储的对应任务、数据源等。

6.项目中心下载项目keytab时增加安全中心审计日志

• 功能介绍：
  • 用户在项目中心下载keytab时，会进入安全中心的操作审计中。
• 功能详情使用步骤：
  • a.功能入口：
    
    

版本：v7.2.3

1.项目中心-角色管理，角色支持重命名

• 功能介绍：
  • 项目负责人、管理员，或获取项目中心“角色管理”页面权限的成员，可对非系统预制角色进行重命名操作
• 功能详细使用步骤：
  • a.功能入口：项目中心-角色管理，具体非系统预制角色，右键
    
    

2.项目中心-项目信息，支持对项目重新生成项目keytab

• 功能介绍：
  • 该功能仅针对数据平台底座为NDH才支持，且默认不开启，可由运维人员按需开启
    开启后，在项目中心-项目信息中，“kerberos keytab”配置项中，仅项目负责人可查看到“重新生成keytab”按钮，并触发重生生成keytab
    重新生成keytab后，原keytab默认继续生效7天，且可查看具体的principal和失效时间
• 功能详细使用步骤：
  • a.功能入口：项目中心-项目信息，“kerberos keytab”配置项右侧
    

3.新增TiDB节点、OceanBase节点

• 功能介绍：
  • 支持在离线开发中新增TiDB、OceanBase节点，对相应数据源进行SQL代码开发。
• 功能使用注意事项：
  • TiDB、OceanBase节点为外部数据源节点，默认不在画布显示，使用时需要有运维人员开启。

1.达梦节点支持运行存储过程

版本：v7.2.2

1.【重点关注】离线开发线上模式的报警设置前置到开发模式

• 功能介绍：
  • 开发模式下支持报警设置，提交上线后可将报警设置提交到线上。同时，线上模式不再支持“编辑报警”，所有对线上模式“报警设置”的修改，都需要先在开发模式修改完成，再提交上线。

2.离线开发任务支持自动跨环境发布

• 功能介绍：
  • 离线任务跨环境发布，指通过发布中心产品，实现任务在两个平台或同平台的不同“项目-集群”间进行发布；
  • 在发布中心开启自动发布功能后，离线开发任务在新建时，支持选择开启或关闭自动发布，已有任务的开发模式下也会显示“任务自动发布”的开关；
  • 任务的开关为开，离线开发任务在重命名、提交上线等场景下，系统会基于发布中心的配置，自动将线上模式的任务进行跨环境发布；
  • 更具体的说明，请参加发布中心的用户手册。

3.平台底层为CDP环境时自助分析也可支持Kyuubi

4.自助分析的query支持定位

• 功能介绍：
  • 自助分析Query中，支持快速将右侧画布中显示的任务快速在左侧列表中定位。

5.离线开发任务节点的输出参数支持map功能

• 功能介绍：
  • 离线开发任务的部分节点配置输出参数，支持将节点中最后一条select语句的查询结果保存为二维数组供下游节点使用。本次新增了map功能，支持基于查询结果中第一列的key值匹配，并获取改行的数据。
  • 举例：查询结果有id和name 2列，共有2条数据，第一条为1和张三，第二条为2和李四，则select '${outputs1('2')[0]}'，可以定位到id=2的记录，并输出去掉第一列之后的第一列的数据，结果为“李四”。

6.用户申请加入项目时，支持平台粒度控制是否显示项目组角色选择项

• 功能介绍：
  • 平台用户申请加入项目时，可需要选择要加入的项目、获得的项目和项目组角色。针对不需要用户选择项目组角色的场景，可以在部署平台控制开启隐藏。

7.支持平台管理员删除impala队列和K8S资源池

• 功能介绍：
  • 平台管理员可在项目管理-项目的资源详情-计算资源下，删除Impala队列和K8S资源池（如有）。

1.自助分析下载的内容是数值时默认用数值格式

• 功能介绍：
  • 自助分析下载的xls格式中，如果存在数值型数据，原先都是显示为文本格式。当前版本进行了优化，下载后数值可显示为数值格式。

2.离线开发任务的Python节点运行的日志中对python本身的报错进行标红展示

• 功能介绍：
  • 对于python本身运行时，报错信息也标红展示。

3.离线开发任务的低代码节点支持支持其他设置

• 功能介绍：
  • 低代码节点支持节点内设置其他设置，线上调度时可使用节点内的设置。支持设置运行超时时间、自动重试、输入参数等。

4.离线开发任务的版本比对支持选择节点详情比对和展示

• 功能介绍：
  • 版本比对详情页，针对有差异的选择节点，支持展示详情并标注差异。

1.离线开发任务提交上线走工单审批，审批异常时，在离线开发支持撤回提交上线工单

2.项目中心-资源管理-资源监控的日存储使用情况调整为真实物理存储大小，及支持显示集群默认副本数

版本：v7.2.1

1.【重点关注】离线开发任务线上模式的“调度设置”前置到开发模式

• 功能介绍：

  • 开发模式下支持设置任务的调度信息，提交上线后可将调度信息提交到线上。同时，线上模式不再支持编辑调度，所有对线上模式调度信息的修改，都需要先在开发模式修改完成，再提交上线。

• 功能使用注意事项

  • 整体说明：本次调整，将原本在线上配置的调度信息前置到开发模式，这将在很大程度上影响用户的现有使用习惯，甚至影响团队的协作模式，因此需要所有离线开发的用户关注本项变更。
  • 变更原因：原有模式下，离线开发新建的任务提交上线后，才可以配置调度信息，以及老任务修改调度配置是直接在线上操作。这种模式本身未做到开发和线上模式的版本独立。另外，不少团队会配置提交上线、编辑调度、取消调度需要工单审批，对于既需要修改任务代码，又需要修改调度依赖等的场景，需要走2次工单审批，中间也很容易工单没有同时审批，导致任务代码和调度配置不统一的问题。同时，对于任务回滚，也无法做到任务代码和调度配置统一回滚。
  • 变更的影响：
    • 老任务：对于老任务，如果任务是未调度，则开发模式的调度设置中，”调度开启“设置为“未开启”；如果是已调度，系统会自动将线上模式的调度信息复制到开发模式。由于开发模式和线上模式的节点可能会有差异，线上模式的调度信息不一定完全适用开发模式，因此可能会出现部分配置是非法内容的情况。在老任务在提交上线时，系统会对异常配置进行检测和提醒，请操作者关注提示的信息。
    • 新任务：新任务创建后，在提交上线前，需要先进行调度设置，再提交上线。
    • 开发模式的调度设置：开发模式下，支持和原本线上一样的配置，并且引入了“调度开启”开关，“调度开启”为关，则和原本提交上线且线上不设置调度的状态相同。“调度开启”为开，则可以设置调度，在开发模式可以设置调度，且配置依赖时仅能依赖开发模式的任务中的节点，包括智能推荐依赖也是推荐开发模式的节点。
    • 开发模式节点操作：节点右键，支持”查看被依赖详情“、支持“替换依赖节点”，这些都是对开发模式下的任务进行操作。节点删除或禁用时，有开发模式的下游依赖时会进行提醒，用户可以强制进行删除，且删除时会同步删除下游依赖和当前节点调度设置中的上游依赖配置。
    • 提交上线：任务提交上线时，会增加“是否调度设置异常“的检测，包括调度失效时间约束、下游依赖、上游依赖、下游调度生效时间影响、队列为空、调度日历不存在、调度周期变更等的检测提醒。
    • 依赖授权：原本仅提交上线的任务才可以进行依赖授权，现在是否上线都可进行依赖授权。
    • 线上模式的调度：线上模式不再支持配置调度，仅能通过开发模式提交上线。
    • 提交上线审批设置：原本在“离线开发配置”-“基础配置”-“强制走工单审批设置”中，可以配置“编辑调度、取消调度”可以走工单审批，此次将去掉改配置，强制走工单配置仅用于控制“提交上线”的审批。
    • 关于线上模式节点开启调度：当前版本线上节点不再支持控制节点是否开启调度，如需要节点线上模式不再调度，需要在开发模式下对节点右键，禁用节点，并提交上线。