版本:v7.2.3

新增功能

1.项目中心-角色管理,角色支持重命名

  • 功能介绍:
    • 项目负责人、管理员,或获取项目中心“角色管理”页面权限的成员,可对非系统预制角色进行重命名操作
  • 功能详细使用步骤:
    • a.功能入口:项目中心-角色管理,具体非系统预制角色,右键
      更新合辑(2024年) - 图1
      更新合辑(2024年) - 图2

2.项目中心-项目信息,支持对项目重新生成项目keytab

  • 功能介绍:
    • 该功能仅针对数据平台底座为NDH才支持,且默认不开启,可由运维人员按需开启
      开启后,在项目中心-项目信息中,“kerberos keytab”配置项中,仅项目负责人可查看到“重新生成keytab”按钮,并触发重生生成keytab 重新生成keytab后,原keytab默认继续生效7天,且可查看具体的principal和失效时间
  • 功能详细使用步骤:
    • a.功能入口:项目中心-项目信息,“kerberos keytab”配置项右侧
      更新合辑(2024年) - 图3

3.新增TiDB节点、OceanBase节点

  • 功能介绍:
    • 支持在离线开发中新增TiDB、OceanBase节点,对相应数据源进行SQL代码开发。
  • 功能使用注意事项:
    • TiDB、OceanBase节点为外部数据源节点,默认不在画布显示,使用时需要有运维人员开启。
功能优化

1.达梦节点支持运行存储过程

版本:v7.2.2

新增功能

1.【重点关注】离线开发线上模式的报警设置前置到开发模式

  • 功能介绍:
    • 开发模式下支持报警设置,提交上线后可将报警设置提交到线上。同时,线上模式不再支持“编辑报警”,所有对线上模式“报警设置”的修改,都需要先在开发模式修改完成,再提交上线。

2.离线开发任务支持自动跨环境发布

  • 功能介绍:
    • 离线任务跨环境发布,指通过发布中心产品,实现任务在两个平台或同平台的不同“项目-集群”间进行发布;
    • 在发布中心开启自动发布功能后,离线开发任务在新建时,支持选择开启或关闭自动发布,已有任务的开发模式下也会显示“任务自动发布”的开关;
    • 任务的开关为开,离线开发任务在重命名、提交上线等场景下,系统会基于发布中心的配置,自动将线上模式的任务进行跨环境发布;
    • 更具体的说明,请参加发布中心的用户手册。

3.平台底层为CDP环境时自助分析也可支持Kyuubi

4.自助分析的query支持定位

  • 功能介绍:
    • 自助分析Query中,支持快速将右侧画布中显示的任务快速在左侧列表中定位。

5.离线开发任务节点的输出参数支持map功能

  • 功能介绍:
    • 离线开发任务的部分节点配置输出参数,支持将节点中最后一条select语句的查询结果保存为二维数组供下游节点使用。本次新增了map功能,支持基于查询结果中第一列的key值匹配,并获取改行的数据。
    • 举例:查询结果有id和name 2列,共有2条数据,第一条为1和张三,第二条为2和李四,则select '${outputs1('2')[0]}',可以定位到id=2的记录,并输出去掉第一列之后的第一列的数据,结果为“李四”。

6.用户申请加入项目时,支持平台粒度控制是否显示项目组角色选择项

  • 功能介绍:
    • 平台用户申请加入项目时,可需要选择要加入的项目、获得的项目和项目组角色。针对不需要用户选择项目组角色的场景,可以在部署平台控制开启隐藏。

7.支持平台管理员删除impala队列和K8S资源池

  • 功能介绍:
    • 平台管理员可在项目管理-项目的资源详情-计算资源下,删除Impala队列和K8S资源池(如有)。
功能优化

1.自助分析下载的内容是数值时默认用数值格式

  • 功能介绍:
    • 自助分析下载的xls格式中,如果存在数值型数据,原先都是显示为文本格式。当前版本进行了优化,下载后数值可显示为数值格式。

2.离线开发任务的Python节点运行的日志中对python本身的报错进行标红展示

  • 功能介绍:
    • 对于python本身运行时,报错信息也标红展示。

3.离线开发任务的低代码节点支持支持其他设置

  • 功能介绍:
    • 低代码节点支持节点内设置其他设置,线上调度时可使用节点内的设置。支持设置运行超时时间、自动重试、输入参数等。

4.离线开发任务的版本比对支持选择节点详情比对和展示

  • 功能介绍:
    • 版本比对详情页,针对有差异的选择节点,支持展示详情并标注差异。
BUG修复

1.离线开发任务提交上线走工单审批,审批异常时,在离线开发支持撤回提交上线工单

2.项目中心-资源管理-资源监控的日存储使用情况调整为真实物理存储大小,及支持显示集群默认副本数

版本:v7.2.1

新增功能

1.【重点关注】离线开发任务线上模式的“调度设置”前置到开发模式

  • 功能介绍:

    • 开发模式下支持设置任务的调度信息,提交上线后可将调度信息提交到线上。同时,线上模式不再支持编辑调度,所有对线上模式调度信息的修改,都需要先在开发模式修改完成,再提交上线。
  • 功能使用注意事项

    • 整体说明:本次调整,将原本在线上配置的调度信息前置到开发模式,这将在很大程度上影响用户的现有使用习惯,甚至影响团队的协作模式,因此需要所有离线开发的用户关注本项变更。
    • 变更原因:原有模式下,离线开发新建的任务提交上线后,才可以配置调度信息,以及老任务修改调度配置是直接在线上操作。这种模式本身未做到开发和线上模式的版本独立。另外,不少团队会配置提交上线、编辑调度、取消调度需要工单审批,对于既需要修改任务代码,又需要修改调度依赖等的场景,需要走2次工单审批,中间也很容易工单没有同时审批,导致任务代码和调度配置不统一的问题。同时,对于任务回滚,也无法做到任务代码和调度配置统一回滚。
    • 变更的影响:
      • 老任务:对于老任务,如果任务是未调度,则开发模式的调度设置中,”调度开启“设置为“未开启”;如果是已调度,系统会自动将线上模式的调度信息复制到开发模式。由于开发模式和线上模式的节点可能会有差异,线上模式的调度信息不一定完全适用开发模式,因此可能会出现部分配置是非法内容的情况。在老任务在提交上线时,系统会对异常配置进行检测和提醒,请操作者关注提示的信息。
      • 新任务:新任务创建后,在提交上线前,需要先进行调度设置,再提交上线。
      • 开发模式的调度设置:开发模式下,支持和原本线上一样的配置,并且引入了“调度开启”开关,“调度开启”为关,则和原本提交上线且线上不设置调度的状态相同。“调度开启”为开,则可以设置调度,在开发模式可以设置调度,且配置依赖时仅能依赖开发模式的任务中的节点,包括智能推荐依赖也是推荐开发模式的节点。
      • 开发模式节点操作:节点右键,支持”查看被依赖详情“、支持“替换依赖节点”,这些都是对开发模式下的任务进行操作。节点删除或禁用时,有开发模式的下游依赖时会进行提醒,用户可以强制进行删除,且删除时会同步删除下游依赖和当前节点调度设置中的上游依赖配置。
      • 提交上线:任务提交上线时,会增加“是否调度设置异常“的检测,包括调度失效时间约束、下游依赖、上游依赖、下游调度生效时间影响、队列为空、调度日历不存在、调度周期变更等的检测提醒。
      • 依赖授权:原本仅提交上线的任务才可以进行依赖授权,现在是否上线都可进行依赖授权。
      • 线上模式的调度:线上模式不再支持配置调度,仅能通过开发模式提交上线。
      • 提交上线审批设置:原本在“离线开发配置”-“基础配置”-“强制走工单审批设置”中,可以配置“编辑调度、取消调度”可以走工单审批,此次将去掉改配置,强制走工单配置仅用于控制“提交上线”的审批。
      • 关于线上模式节点开启调度:当前版本线上节点不再支持控制节点是否开启调度,如需要节点线上模式不再调度,需要在开发模式下对节点右键,禁用节点,并提交上线。