版本:v1.18.0

新增功能

1.周期实例列表新增“已选中实例”功能,支持跨页选择、支持基于筛选结果选择、支持基于实例ID导入、支持一键导出

  • 功能介绍:

    • 周期实例列表,原本仅支持选择当前页的内容,当前版本新增了“已选中实例”功能,相当于实例勾选的购物车;
    • 用户在选中某个实例后,该实例会被添加到“已选中实例”中,同时也支持基于筛选结果一键添加所有的实例(当前一次性最多可添加10000个);
    • 注意:如果记录数过多,以及本机电脑性能差异,可能导致单实例选中或取消时,出现卡顿问题;
    • 对于选中的实例,也同时适配批量重跑、终止、置成功、一键导出等;
    • 一键导出功能为当前版本新增的功能,支持在项目中心-功能权限中控制;
  • 功能详细使用步骤:

    • a.功能入口:

      • 如下图为实例列表页面,页面左下角会显示“已选 n 条”,点击n,右侧会出现“已选中实例”侧边弹框。

        更新合辑(2024年) - 图1

        • 如下图为“已选中实例”弹框

        更新合辑(2024年) - 图2

2.任务列表支持导出

  • 功能介绍:

    • 任务列表新增一键导出功能,支持按选中项导出、按筛选后的列表导出;
    • 一键导出的功能权限支持在项目中心-功能权限中控制;
  • 功能详细使用步骤:

    • a.功能入口:

      • 任务列表页面左下角:

        更新合辑(2024年) - 图3

3.大盘数据中列表支持下载

  • 功能介绍:

    • 项目组运维大盘、周期实例大盘中,任务出错排行、实例耗时排行、节点耗时排行、调度延迟排行,支持导出;
    • 导出时,支持设置最大最小阈值进行过滤。
  • 功能详细使用步骤:

    • a.功能入口:

      • 在项目组运维大盘、周期实例大盘的对应模块中,点击“导出”即可

      更新合辑(2024年) - 图4

      更新合辑(2024年) - 图5

4.值班组支持配置日历未维护通知信息

  • 功能介绍:

    • 项目的值班组支持人员值班排班,针对未来一段时间未配置日历时,支持配置相关提醒,包括提前天数、提醒方式、提醒接收人。
  • 功能详细使用步骤:

    • a.功能入口:

      • 运维配置-值班组管理-具体值班组-配置信息:

      更新合辑(2024年) - 图6

5.补数据支持一天仅跑一次

  • 功能介绍:

    • 任务补数据时,如果任务的调度配置是1天会执行多次,则在原本的补数据逻辑中,1天就会生成多个实例并执行多次;
    • 当前版本中,支持了补数据的“最多跑一次”功能,如果任务的实现逻辑为当天跑一次即可完成数据回补,则可以使用该功能;
    • 在单任务补数据或批量补数据时,满足下方所列的1种场景即可进行“最多跑一次”设置:
      • 1)补数据时选择了多个任务(不区分源头任务还是上下游任务)
      • 2)仅选择一个已调度的任务补数据,且调度类型设置不是常规设置
    • 目前“最多跑一次”支持不生效、执行每天最早实例、执行每天最晚实例等3种设置。
  • 功能详细使用步骤:

    • a.功能入口:
    • 补数据的最后一步,如果当前补数据场景符合最多跑一次的设置条件,则会显示“最多跑一次”配置项:

      更新合辑(2024年) - 图7

功能优化

1.报警历史中搜索问题修复

  • 功能介绍:

    • 报警历史中,报警类型为质量异常、质量检测失败的,原本的报警对象中会将“节点名”和“数据质量监控名称”通过“-”拼接在一起,可读性较差;
    • 当前版本对展示进行了优化,对质量监控和其所挂载的节点进行独立展示。
  • 功能详细使用步骤:

    • a.功能入口:

      更新合辑(2024年) - 图8

2.实例血缘中跨项目查看实例优化

  • 功能介绍:
    • 优化了实例详情-实例血缘中,点击其它项目(当前用户无该项目的访问权限)的实例时,浮框提示“无权限”的问题,改为支持跳转到新标签页,提示用户无该项目权限,需要申请加入项目。

版本:v1.17.0

功能优化

1.任务调度信息展示中分钟调度支持展示生效分钟数据

  • 功能介绍:
    • 离线开发调度设置中,针对1-60分钟调度的分钟调度,支持设置生效分钟,任务运维中心对此做了适配。

2.任务节点支持展示DB2和SQLServer节点

  • 功能介绍:
    • 离线开发新增支持了DB2和SQLServer节点,任务运维的查看节点进行了展示适配。

3.轮询节点支持显示所选数据源名称的类型

4.任务血缘中同周期依赖内容展示调整

  • 功能介绍:
    • 离线开发调度设置中,针对同周期依赖,由开关改为单选配置项,包括“按上游周期生效”、“按小周期生效”、“不生效”,任务运维处做了适配。

版本:v1.16.0.1

BUG修复

1.修复基线上失败实例置成功后,基线状态从破线变为成功的问题

  • 问题描述:
    • 基线上示例失败后,会发送报警通知,如果实例在基线破线时间后未处理,则基线会变为破线。如果将失败实例在基线破线后,设置为成功,则会导致基线变为正常。
    • 当前版本,修复了该问题。

版本:v1.16.0

新增功能

1.任务运维适配轻量化(去hadoop)

  • 功能介绍:
    • 平台私有化部署时,支持不部署hadoop相关组件,可支持基于StarRcoks、Doris等数据源作为大数据开发的数据来源的轻量化部署方案,任务运维等进行了页面去hadoop元素适配。

功能优化

1.任务运维在重跑、补数据等选择Yarn队列、Impala队列时增加了顶部提示语

  • 功能介绍:

    • Yarn队列和Impala队列支持“适用场景”设置,针对任务运维队列选择时,顶部增加了“仅展示当前场景可用的队列”的提醒,避免因用户产生发现项目下存在队列,但是队列下拉列表中不显示的疑问。
  • 功能详细使用步骤:

    • a.功能入口:

      更新合辑(2024年) - 图9

版本:v1.15.0

功能优化

1.任务补数据时选择上下游数量过多时卡顿问题优化

  • 功能介绍:
    • 补数据超过200个时,画布拖动时,改为仅显示外框拖动的样式,解决拖动卡顿问题

版本:v1.14.1

功能优化

1.周期实例大盘的“未完成数”弹框中支持实例状态筛选

  • 功能介绍:

    • 未完成任务详情中增加了实例状态筛选,可筛选未运行、失败、就绪、终止等多种状态,方便针对某一类状态的实例进行统一处理。
  • 功能详细使用步骤:

    • a.功能入口:
      更新合辑(2024年) - 图10

2.任务补数据优化——支持层级筛选及任务高亮

  • 功能介绍:

    • 补数据时,支持快速过滤“血缘层数”,针对任务依赖复杂或深度较深的场景,可以快速精简血缘;
    • 点击节点,可以快速高亮上下游的任务连线,让任务见依赖关系更清晰。
  • 功能详细使用步骤:

    • a.功能入口:
      • 在补数据第二步选择上下游任务页面
        更新合辑(2024年) - 图11

3.任务补数据实例中支持显示“源头”标记

  • 功能介绍:

    • 补数据实例中,增加了补数据任务中选择的补数据源头任务的标记
  • 功能详细使用步骤:

    • a.功能入口:
      • 补数据实例运维具体补数据任务展开
        更新合辑(2024年) - 图12

版本:v1.13.1

功能优化

1.适配离线开发SQL节点支持选择Kyuubi集群的内容显示

2.适配离线开发嵌套流节点动态循环执行的内容显示

版本:v1.13.0

功能优化

  1. 配合离线开发的系列改造,包括适配TDH底座、报警设置、任务重试等方面

版本:v1.11.0

新增功能

1.支持实例紧急去除依赖

  • 功能介绍:
    • 若任务A被下游任务B依赖,A的某个实例出现运行失败等异常情况一直未成功,且B不强依赖A的结果,而B又因业务原因需要按时产出,此时可以对B的A依赖进行紧急去除。需注意,若任务或节点已在运行中或是已运行结束,则不支持去除依赖。需要有“终止、冻结和重跑实例”权限才可以对实例进行去除依赖操作。

版本:v1.9.11

功能优化

1.新增节点支持修改平均运行时长

  • 功能介绍:
    • 原先在任务运维中心仅支持运行成功的节点修改平均运行时长,从而避免因一些异常运行导致基线计算任务的预计完成时间出现预警或破线的情况,打扰到值班人员,此次升级后,任务新增节点无需在线上调度执行,也支持修改平均运行时长,方便运维人员提前避免告警打扰。

2.配合离线开发新增TiDB、OceanBase节点运维操作

  • 功能介绍:
    • 离线开发现已支持TiDB、OceanBase节点的代码开发,将节点提交上线进行周期调度后,可在任务运维中心查看相应节点的实例日志、运行情况等信息。

版本:v1.9.10

功能优化

1.任务详情里支持显示更多信息

  • 功能介绍: -在任务详情页面中,如果任务线上模式已提交上线,则可以在调度信息中点击“查看更多信息”,展示任务的线上调度信息。
    2.就绪状态的实例支持查看日志
  • 功能介绍: -就绪状态的实例支持查看日志。 3.安全中心转交任务工单发起人改为转交操作人
  • 功能介绍: -原先安全中心批量转交任务的工单发起人为任务原负责人,此次调整为转交操作人。

版本:v1.9.9

功能优化

1.编辑调度由线上模式前置到开发模式相关修改

  • 功能介绍:
    • 离线开发中将任务的调度设置前置到开发模式,任务运维中心适配相关逻辑调整,包括取消调度不再需要走审批、“修改首次执行时间”的文案修改为“修改调度生效时间”。