数据传输

版本:v3.40.0

新增功能

1.【离线】新建单个离线同步任务时,在spark引擎下,向导模式下,适配mongodb4.4版本,支持来源和去向.(数据导入模块也兼容此版本)

2.【离线】单个新建离线同步任务时,在spark引擎下适配ob-oracle 4.2.5版本 4.2.3版本、ob-mysql 4.2.5版本 4.2.3版本,来源去向都支持。(数据导入模块也兼容此版本)

3.【离线】spark引擎向导模式下,来源数据源为Kafka时,支持配置读阶段的脏数据管理。

4.离线同步任务,spark引擎,向导模式下,选择数据源kafka后,配置字段映射时支持选择元数据,内容可选择 key topic partition offset timestamp timestampType 仅限kafka2.1版本支持。

维度建模

版本:v2.0.7

功能优化

1.新建/修改表时,支持一键填充字段中文/字段备注

  • 功能介绍

    • 新建/修改表时,支持将字段描述信息一键填充到字段中文/字段备注上

2.字段描述支持配置是否必填

  • 功能介绍

    • 字段描述支持配置是否必填,例如配置必填后则在新建表/编辑表时,需要填写字段的描述信息

3.表抓取增加数据源类型勾选

  • 功能介绍

    • 表抓取增加数据源类型勾选,避免抓取不需要或者全量的数据源类型,避免数据抓取性能问题和资源浪费的情况。数据源类型下拉范围来自【数仓配置-默认数据源配置】中已勾选的数据源类型

离线开发

版本:v7.17.0

功能优化

1.针对离线开发任务进行版本回滚时,不支持回滚数据传输节点,弹窗增加提示,针对离线同步节点建议至传输侧执行回滚操作。

2.默认业务线负责人逻辑优化,保留目前已有的页面上修改业务负责人的逻辑,ops侧去掉预置业务线负责人的逻辑,防止ops重启覆盖已配置好的业务负责人。

版本:v7.16.5

新增功能

1.【离线开发】新增ops参数,支持禁用默认文件夹。

  • 功能介绍:
    • 支持在ops侧通过参数配置是否禁用默认文件夹;
    • 默认文件夹被禁用后,新建任务,归属文件夹时不支持选择默认文件夹;选中任务右键,移动目录时,不支持选择默认文件夹。
    • 默认文件夹中已有的任务,仍支持移动到别的文件夹。
功能优化

1.针对故障场景的通知,包括任务试运行时运行失败、质量异常、质量检测失败;线上任务,运行超时、运行失败、完成超时;线上任务的数据质量报警中,质量异常、质量检测失败,在对接飞书等告警渠道时,支持配置卡片的样式,比如可红色标题显示。

2.任务批量添加前置依赖,交互优化,针对依赖的任务被彻底删除,添加任务依赖的弹窗中,支持显示被删除的任务名称。

任务运维中心

版本:v1.22.0

新增功能

1.任务列表,新增筛选项暂停状态和失效状态;

  • 功能介绍
    • 任务列表,原本的调度已暂停和调度已失败复选框,无法快捷筛选调度未暂停、调度未失败的任务,故新增暂停状态和失效状态两个筛选项;
    • 暂停状态可选择全部、已暂停、未暂停;失效状态可选择全部、已失效、未失效。

2.补数据实例运维,更多中新增查看未生成实例的补数据任务;

  • 功能介绍
    • 在补数据实例运维页面,更多选项中,支持查看补数据实例,包括已生成的补数列表和未能生成补数实例的任务列表。
功能优化

1.任务运维补数据的页面性能优化,且若页面任务数超过1000时,仅展示前1000个任务,页面增加提示,并支持选择全部节点;

2.报警历史的交互优化,比如针对质量异常的告警通知,不同的规则换行展示。

版本:v1.21.6

功能优化

1.周期实例,实例就绪时间,支持快捷筛选近2天的数据,满足部分任务是下午或者晚上执行,第二天查看实例时快捷查看近2天的周期实例。

2.针对基线触发条件为基线预警、基线预警破线、基线破线、基线关联实例失败、基线关联实例运行变慢的内容,在对接飞书等告警渠道时,支持配置卡片的样式,比如可红色标题显示。

3.轻量化场景交互优化,包括加速器页面不支持筛选和展示任务优先级、维护任务池页面不支持任务优先级筛选和展示、智能诊断-白名单页面不支持最终优先级筛选和展示。

4.任务血缘交互优化,在没有上下游的场景下,支持展示当前节点,可快捷查看当前节点基本详情。

5.未生成实例的交互优化,针对未生成实例,节点实例的关系视图中,支持展示实例的上下游信息,数据同列表视图的内容。

数据服务

版本:v1.14.0

新增功能

1、数据服务api调用日志保存时间支持在easyops上进行配置

安全中心

版本:v4.2.6

新增功能

1、在【权限治理】里面,增加“目录权限”,对于已申请的项目外的资源可以进行权限回收或者转交给其他人 2、界面功能优化

数据质量中心

版本:3.16.8

新增功能

1.问题列表支持批量处理问题;

  • 功能介绍:
    • 问题管理列表,新增批量处理问题功能;
    • 支持批量配置项目组资源目录、处理意见等内容,可根据权限、问题状态等返回批量处理问题结果详情。

2.执行实例查看运行结果,新增支持规则执行结果筛选项

  • 功能介绍:
    • 在执行实例的查看运行结果弹窗中,新增规则执行结果,支持根据规则异常或通过的状态筛选规则内容。
功能优化

1.对于运行失败的场景,包括数据质量任务试运行的监控结果异常、任务执行失败;单独设置调度的监控结果异常和任务执行失败,在对接飞书等告警渠道时,支持配置卡片的样式,比如红色标题显示。

2.执行实例列表,若通过任务运维-补数据操作所产生的实例ID,支持点击实例ID进行跳转查看详情;

3.新建质量监控,数据源搜索支持搜索全部,若属于数据质量不支持的版本,增加hover提示说明。

发布中心

版本:1.10.0

新增功能

1.发布包发布,针对离线开发任务,新增支持"挂载基线"的发布内容;

  • 功能介绍
    • 发布包发布页面,针对离线开发任务的资源类型,发布内容新增挂载基线,默认不勾选,即不会覆盖新环境下的基线内容;
    • 发布中心资源列表及资源详情等内容适配,新增展示当前任务是否已挂载基线;
    • 挂载基线的发布内容,需要在接收方存在同名基线时,默认会在接收方将任务挂载到同名基线;
    • 配置发布内容时,支持批量选择是否挂载基线;
    • 发布包中存在离线开发任务资源时,对资源进行检测支持挂载基线的规则检测,默认为弱规则,检测当前任务已挂载的基线在接收方是否存在同名基线。
    • 需要注意的是,若将任务包发布到线上模式,且需挂载的基线开启了审批功能,则同时会生成审批工单,会发送给对应的基线审批人。
功能优化

1.发布包发布页面,刷新页面时,交互优化,发布策略增加Loading态展示;

2.发布记录列表,针对资源部分失败的情况,发布结果展示优化,增加发布成功和失败的数量展示;

3.发布记录的工单详情,执行日志hover提示优化,增加提示内容。

版本:1.9.2

功能优化

1.针对无模式资源类型执行发布的逻辑优化,发布实例包的弹窗交互优化;

  • 功能介绍
    • 在发布方,针对在线生成、离线导入的发布包,在发布的页面,对于"工单审批通过后设置"选择了"上传包、导入到开发模式、提交上线",无模式资源类型执行发布选项,默认全部选中,支持选择取消;
    • "无模式资源类型执行发布"的hover提示内容更新;
    • 在接收方,发布实例包时,选择"全部发布到开发模式"或者"全部发布到线上模式"时弹窗优化,支持展示该实例包中可发布到开发或线上模式下的所有资源,支持选择或取消。

控制台

版本:v1.18.0

功能优化

1.平台管理-成员账号管理,新增对于临时账号过期的交互处理,新增过期状态,包含正常账号过期和被冻结账号过期,支持快速筛选过期状态的账号。