控制台

版本：1.15.0

1.【资源运维】Yarn队列的资源运维支持展示自助分析Query

• 功能说明：
  • 在资源运维模块，Yarn队列详情页中，支持查看使用当前队列资源运行的自助分析Query，支持查看Query的资源诊断。此外，如果当前用户有该Query的终止权限，支持终止query执行。

指标平台

版本：2.6.3

1.支持Excel批量导入原子、派生、计算指标

• 功能介绍

  • 增加Excel批量导入功能，可以导入原子、派生、计算指标

• 详细操作步骤

  • 在指标列表页点击“批量导入”，按照模板填写好指标内容，然后上传Excel即可。

• 注意事项

  • 如果没有指标创建权限，则导入会报错拦截

2.支持维度管理，包括维度目录、维度增删改查、维值定义、模型关联维度等

• 功能介绍

  • 新增维度管理模块，用户可以定义单值维度、层级维度、螺旋维度，并填写维值列表。不同的模型关联同一维度后，可进行跨模型多指标共同分析。

• 操作步骤

  • 先在配置管理中设置维度目录，方便对维度归属的目录进行管理

  • 在维度列表可新建、编辑、查看、删除维度

  • 在维度详情可添加维值、查看维度基本信息等

  • 在模型定义页，可以将字段关联已有的维度，以便后续进行维度分析

1.已发布的模型支持编辑表信息

• 功能介绍

  • 之前模型存在已发布的指标时，不支持编辑模型的表。导致用户只能先下线指标再来编辑模型，影响体验和效率。本次优化后支持编辑模型，并提醒用户谨慎操作，如果删表、删字段、替换字段等行为可能会导致引用的指标异常。

• 操作步骤

  • 选择模型直接编辑即可。系统会根据模型是否存在引用的指标，给出相应的提示和校验。

2.支持跨模型的多个指标按照日期维度进行计算

• 功能介绍

  • 之前计算指标的表达式中仅支持选择同一模型内的指标进行复合运算。本次优化后，支持对跨模型的指标进行复合运算。配置计算表达式时，指标列表展示指标名称、指标标识、所属模型。

• 操作步骤

  • 进入计算指标表达式配置页，选择需要计算的指标，可从不同模型中选择多个指标

• 注意事项

  • 在选择指标的下拉列表中，会自动过滤掉没有权限的指标。另外，对于不可选择的指标会禁用并提示原因，不支持选择的指标有如下几种原因：

    • 指标没有设置时间维度，无法参与计算

    • 指标间数据源类型不同，无法参与计算

    • 指标有设置TopN或聚合筛选，无法参与计算

    • 指标间数据格式不一致，无法参与计算

3.增加文案提示，包含TOPN/聚合后筛选的指标不支持带入下游指标

• 功能介绍

  • 对于有设置TopN或者聚合后筛选的指标，无法被下游指标再次引用。产品上增加相关提示文案，并且对这种不可选择的指标进行禁用和提示。

• 操作步骤

  • 创建派生或计算指标时，选择引用指标的列表中会增加上述场景的校验和提醒。

4.多维分析、同环比都支持时间筛选

• 功能介绍

  • 之前趋势概览、多维分析默认展示全部数据，无法按照时间进行筛选，本次增加时间筛选；

  • 之前趋势概览仅展示指标随时间变化趋势，本次增加了同环比值、同环比增长率也按时间变。

• 操作步骤

  • 进入指标详情查看趋势概览、多维分析即可。

5.血缘图中计算字段展示优化

• 功能介绍

  • 模型字段支持来源于物理字段和自定义计算字段，如果是自定义计算字段，则后续在指标血缘中也要能展示该计算字段的表达式，本次优化后就能正常展示了。

• 操作步骤

  • 查看指标血缘中相关字段的侧边栏信息即可

6.OpenAPI：支持返回指标的明细数据

• 功能介绍

  • 增加返回指标明细数据的OpenAPI，详见OpenAPI文档

7.OpenAPI：支持日期或其他公共维度下返回多个指标数据

• 功能介绍

  • 支持按照公共维度查看多个指标的数据，详见OpenAPI文档

数据传输

版本：3.26.0

1.【离线】数据来源和去向适配达梦8.1.3版本。

2.【离线】数据来源为StarRocks数据源时，支持FENode地址高可用。

3.【离线】数据导出功能适配数据源类型为HDFS的离线传输任务。

4.【实时】来源为Oracle表时，若表名超过30个字符，无法采集任务不支持选择，进行功能适配；

5.【离线】DataX任务引擎功能增强，

• 功能介绍：
  • 数据去向为HDFS时，去向字段类型支持Decimal、Binary；
    • 数据去向为HDFS时，同名文件处理策略新增overwrite，且原本的truncate中文名称由"覆盖"变更为"截断"，新增的overwrite中文名称为"覆盖"；
    • 对接发布中心功能适配DataX任务引擎；
    • DataX任务引擎下支持参数组引用；
    • 数据来源为HDFS时，来源表字段类型支持自定义表达式。

6.【离线】离线任务的来源和去向的数据源类型支持Hudi。

7.【实时】数据去向的数据源类型支持选择Hudi。

1.对接发布中心的功能优化，包括命中接收方的传输任务审批策略逻辑优化等。

离线开发

版本：7.14.0

1.【离线开发】支持批量配置质量监控

• 功能介绍：
  • 支持批量移除节点配置的质量监控，支持基于批量选择的质量监控任务来批量新建配置了质量监控的虚拟节点。
  • 仅当用户有任务的“新建和编辑节点、运行、运行设置、结果预览、调度设置、报警设置”权限时可操作。

2.【离线开发】批量操作新增“操作历史”，支持查看历史操作记录

• 功能介绍：
  • 批量操作支持查看操作历史，操作历史中会展示已执行完成和执行中的批量操作的操作人、操作类型、操作明细、状态等信息。
  • 默认仅保存180天内的操作历史，如需调整保存期限请联系平台运维人员操作。

3.【离线开发】任务调度设置的“原始优先级”功能支持针对离线同步节点生效

• 功能介绍：
  • 针对CS调度的Yarn集群，SQL节点、离线同步节点、Spark节点和MR节点，在线上调度时，支持将任务的优先级传递给Yarn队列来执行，高优先级任务优先获取Yarn资源。其中Spark引擎需要3.0以上。

1.【离线开发+自助分析】Doris和StarRocks新增代码扫描规则

• 功能介绍：
  • 在离线开发和自助分析模块，新增代码扫描规则，具体包含：表跨层依赖、select字段和插入表字段数量不一致、select字段和插入表字段名称或类型不一致、表关联on字段类型不一致。

2.【离线开发】执行引擎为Spark的节点提交方式优化

• 功能介绍：
  • 针对升级此版本后新建的任务，改为使用spark-submit命令行方式提交任务，历史任务不受影响。
  • 优化背景是： Spark的标准提交方式是通过Spark-submit命令行拼接实现的。而我们当前的任务提交方式是通过反射调Spark main 启动任务。这是一个非常规的提交方式，会导致我们的任务进程、spark的提交进程和spark clinet模式的 driver进程之间耦合，并相互影响。此外，随着Spark的版本迭代，也逐步抛弃了我们当前使用的 Spark mian方法，改为了 spark launcher main方法，这也导致不兼容情况日益增多，亟须解决。

3.【自助分析】SQL切分优化，解决SQL语句分号后带空格就会报错的问题

任务运维中心

版本：1.19.0

1.支持按链路快捷选择补数任务

• 功能介绍：
  • 批量补数据任务时，支持按链路快捷选择补数据任务，用户只需选择源头任务和结束任务，系统会自动计算其间所有任务并加入待补数据任务列表，用户也可以基于待补数据任务列表选择要补数据的任务。在面对上下游任务数量大、依赖关系复杂的补数据场景下，可以帮助用户快速确定补数任务，提高补数效率。

1.任务列表表头过滤支持自动保存

• 功能介绍：
  • 表头过滤设置内容将按照个人+项目粒度进行自动保存，避免用户关闭浏览器或刷新后配置失效的问题。

2.任务列表支持按血缘数量进行筛选

• 功能介绍：
  • 任务列表筛选项新增血缘数量，支持自定义表达式进行筛选。

3.创建补数据任务时支持填写备注并查看

• 功能介绍：
  • 原先仅申请创建补数据任务时需要输入备注作为申请理由，此次升级后支持在创建补数据任务时即输入备注信息，并在补数据任务详情页支持查看备注，方便用户事后回溯补数据的背景和原因。

4.其他补数据的相关优化

• 功能介绍：
  • 补数据运维列表支持按照补数任务名称搜索、未命中搜索结果的实例自动隐藏、补数据详情页面相关实例列表支持按照任务名称进行搜索及其他搜索相关优化。

1.修复报警组成员为平台外用户时无法收到任务告警的问题

实时计算

版本：v4.10.0

1.【实时开发】流表新增数据源类型：Hudi，引擎版本支持Flink1.18

• 功能介绍：
  • 流表新增数据源类型：Hudi，引擎版本支持Flink1.18，支持作为源表、维表、目标表

2.【实时运维】任务启动中和停止中的状态，支持强制停止操作
3.【实时运维】报警设置failover报警规则增加支持选择5分钟周期

1.Kafka流表开发，当开启Kerberos时，优化支持数据解析、数据探查、在线调试等功能

2.任务监控指标Full GC和Young GC分图表展示

3.实时任务发送的告警信息中，任务创建人修改成任务负责人

4.调整实时开发任务切换栏操作的浮窗层级

5.提交任务上线启动运行时任务排队，报错未开通项目集群问题优化处理

6.任务运行日志，日志搜索功能tab默认不展示

7.优化实时任务代码编辑框支持ctrl+s保存

1.修复报警组外部用户收不到告警问题

2.修复实时任务中某个状态异常影响到后续任务同步问题

3.修复任务运行配置中资源配置栏修改信息被重置问题

发布中心

版本：1.8.0

1.【发布池】支持基于血缘添加资源

• 功能介绍
  • 在日常发布过程中，常常会存在以下发布场景：1）ODS表的模型发生变更，该表的产出任务及其下游的部分表也需要同步调整。调整完毕后，需要将调整涉及的表和任务都打包发布至接收方。2）下游数据应用（如BI报表）需要使用部分ADS表的产出数据，故需要将该ADS表和该表的产出任务及其上游的表和任务都打包发布至接收方。在以上的发布场景中，目前都需要由发布人员去手动筛查和确定要发布的表和任务，极其耗时，且容易遗漏，支持此功能后，可以大幅提升发布效率。
  • 基于血缘添加资源分为两步。第一步，选择源头资源，支持以Hive表/离线开发任务/离线同步任务/数据服务API中的任一类型作为源头资源；第二步，确定添加资源，添加资源的条件包含：添加资源范围（上下游、仅上游、仅下游）、血缘类型、添加资源类型、资源更新时间、资源打包状态，可基于添加资源的条件逐层加载资源，并进一步筛选确定最终需要添加到发布池的资源。
  • 更详细的功能使用步骤可查看发布中心-用户手册-高级功能-基于血缘添加资源章节。

1.Hive表发布时，资源负责人的发布逻辑优化

• 功能介绍
  • 根据“资源负责人设置”和“已有资源负责人保持”，如果配置的接收方资源负责人为发布方原账号，且发布方原账号为发布方项目账号，则发布时默认将资源负责人替换为接收方项目账号。

2.【发布池】交互优化

• 功能介绍
  • “匹配添加”（基于批量填写的资源名称去添加资源至发布池）功能入口由资源列表移至发布池。
  • 发布池的按钮的布局进行优化调整。其中，“创建发布包”、“基于引用关系添加”是基于发布池内已有的所有资源进行操作；“基于血缘添加”、“匹配添加”与发布池已有的资源无关；“批量移除”是基于发布池内用户选中的资源进行操作。

数据资产地图

版本：v2.19.9

1.支持开启TiDB、ClickHouse手工血缘

• 功能介绍

  • 对于某些用户来说，其TiDB、ClickHouse的血缘不在平台加工产生，而是在内部其他系统处理的，这类血缘不支持在平台上自动解析，希望能通过手工录入的方式将血缘维护在平台上。为了支持这类场景，平台支持开放TiDB、ClickHouse手工血缘，用户可以人工录入血缘并做展示。

• 详细操作步骤

  • 进入TiDB、ClickHouse表详情页，点击数据血缘页面，手工添加上下游血缘即可

• 注意事项

  • 需要运维在后台开启TiDB、ClickHouse血缘后，才能在页面录入和查看血缘，不支持自动解析血缘。

1.Doris详情支持查看DDL

• 功能介绍

  • 支持在Doris表详情查看DDL

2.当设置Hive外表过期清理策略时，优化默认选择的方式

• 功能介绍

  • Hive外表设置生命周期时，之前的默认过期处理策略是“仅删除表元数据”，本次优化后默认为“删除表元数据和目录文件”

3.元数据目录切换时，默认按钮交互优化为右对齐常驻

• 功能介绍

  • 元数据列表切换目录时，“设为默认”操作跟着鼠标悬浮展示，常驻在弹框右侧。

数据质量中心

版本：3.12.0

1.数据质量报告订阅，邮件/飞书渠道的发送内容增加异常明细规则 2.报告群聊订阅方式，支持指定接收组发送

数据服务

版本：1.12.3

1.服务编排内调用原子API时，适配https调用协议；

2.修复API修改保存位置时报错的问题。