数据传输

版本:v3.41.0

新增功能

1.【离线】新建单个离线同步任务时,在spark3引擎下,向导模式下,来源支持选择Minio,去向支持ftp、hdfs、Minio。仅支持非结构化读取的场景。(注:spark2不支持)

2.【离线】新建单个离线同步任务时,在spark引擎下,sql和向导模式下,来源去向支持kingbaseES for mysql数据源。(数据导入模块也兼容此版本)

3.【离线】页面形式批量新建离线同步任务时,在spark引擎下,数据来源支持选择MongoDB。默认选择系统推断类型,去向仅支持内置hive类型

4.【离线】页面形式批量新建离线同步任务时,在datax引擎下,数据去向下拉框支持doris和StarRocks

5.【离线】EXCEL形式批量新建离线同步任务时,在datax引擎下,数据去向支持选择doris和StarRocks

离线开发

版本:v7.17.3

新增功能

1.【自助分析】自助分析新增支持KingbaseES数据源类型。

  • 功能介绍:
    • 自助分析,新增KingbaseES的数据源类型,适配支持oracle和pg驱动;

2.【离线开发】支持设置任务的可回滚版本以及仅可下载任务包的版本数量。

  • 功能介绍:
    • 在ops侧,支持通过参数配置任务的可回滚版本数量以及仅可下载任务包的版本数量,参数配置成功后,整个平台生效;
    • 在版本列表页面,将展示当前项目最多支持可回滚的版本数量,超过可回滚的版本数量后,也支持仅下载任务包的版本,超过仅下载任务包的版本后,其他历史版本将不支持回滚、下载和查看。

3.【离线开发】针对单个任务,上传任务包和下载任务包功能增强,支持调度和报警。

  • 功能介绍:
    • 针对单个任务,右键的上传任务包功能,新增弹窗,上传内容可选择是否包含调度和报警;
    • 下载任务包(开发模式)/(线上模式)新增弹窗,支持是否同时下载调度配置和报警配置。
功能优化

1.对接cdp环境下,离线开发适配支持impala模式。

2.针对使用spark4的场景,增加hover提示说明,包括spark节点、SQL节点的其他设置和调度设置中,若选择了spark4的版本,可hover查看相关注意事项。

版本:v7.17.2

新增功能

1.【离线开发】集群管理支持同名namespace。

  • 功能介绍:
    • 在集群管理层面,支持同名namespace,解决新集群和老集群的namespace存在重名冲突的问题;

2.【离线开发】类SQL节点,支持查看SQL的代码结构。

  • 功能介绍:
    • 在类SQL节点的编辑页面,右侧新增代码结构功能;
    • 支持从经典结构和大纲结构查看SQL节点的代码结构,可以从核心的SQL执行算子和核心的语句查看SQL的代码层级。

3.【离线开发】权限方案新增文件夹管理权限控制。

  • 功能介绍:
    • 权限方案,在数据开发任务运维页面,新增文件夹管理权限管控,默认为勾选;
    • 文件夹管理,支持对文件夹新建、重命名和删除权限控制。
    • 若无文件夹管理权限,在离线开发侧,新建文件夹/修改和删除将受到权限控制。

4.【离线开发】代码搜索结果展示和筛选、excel下载的能力增强。

  • 功能介绍:
    • 代码搜索结果中,新增展示资源组和参数组以及节点自动重试的内容;
    • 更多筛选中,新增支持资源组、参数组和节点自动重试的筛选项;
    • excel下载,支持选择参数组、资源组和节点自动重试列是否下载,excel表格中新增参数组、资源组和节点自动重试列。

5.【离线开发&自助分析】达梦数据源适配8.1.3版本。

  • 功能介绍:
    • 控制台登记达梦数据源已支持8.1.3版本,离线开发和自助分析的达梦数据源适配该版本。

6.【离线开发】Oracle数据源执行,其他设置中新增Client或者jdbc运行模式。

  • 功能介绍:
    • 针对Oracle数据源,其他设置中新增运行方式,可选择Client或者jdbc运行模式;
    • 若在IDE中运行,运行设置中新增提示内容,默认为JDBC模式运行。
功能优化

1.离线开发的版本对比,参数顺序优化,保持不同版本的相同参数顺序保持一致,方便进行内容的比对。

2.达梦SQL切割方式调整,从azkaban调整为后端支持;

3.版本列表总数错误问题修复。

版本:v7.17.1

新增功能

1.【离线开发】调度设置,调度生效时间新增最近时间快捷键。

  • 功能介绍:
    • 调度生效时间设置时,支持点击最近时间快速填充,默认为当前时间延后2分钟;

2.【离线开发】配置管理页面,新增调度配置的默认项。

  • 功能介绍:
    • 在配置管理页面,针对项目的基础配置,新增调度设置sheet页面;
    • 支持配置时间、依赖、执行设置的默认项,在当前项目的所有集群下新建的任务将默认使用该配置,支持用户在任务的调度配置页面再次修改。

3.【离线开发】代码搜索后的Excel格式下载内容调整,支持全量节点代码。

  • 功能介绍:
    • 代码搜索功能,支持下载excel文件,新增全量节点代码的内容,下载表格中支持展示全量节点代码;
    • 表头展示优化,节点代码修改为节点代码块,展示搜索命中的核心代码块;
    • 页面上下载的hover提示内容更新。
功能优化

1.编辑锁遗留问题优化,包括:在平台管理页面关闭编辑锁后,在离线开发侧点击编辑锁按钮,弹窗文案优化,会提示任务已关闭编辑锁功能,请刷新页面重试;无任务编辑权限的用户在编辑锁状态下点击调度设置,会先判断当前用户是否有编辑权限。

任务运维中心

版本:v1.22.2

功能优化

1.基线运维支持批量配置基线免扰;

  • 功能介绍
    • 基线运维列表,支持批量选择基线并配置免扰;
    • 批量免扰设置弹窗中,可对选中的批量基线设置免扰时长或选择是否开启智能免扰。

2.周期实例大盘基线展示调整;

  • 功能介绍
    • 周期实例大盘,展示基线的完成时间,若某条基线破线了,会优先展示在最上面,且文字颜色变为红色;
    • 基线完成时间,增加hover提示内容。
功能优化

1.基线展示交互优化,包括任务详情页-基线信息tab页,智能诊断的异常实例列表等页面,影响基线多条时支持换行展示;

版本:v1.22.1

功能优化

1.基线报警,报警内容优化,对于触发条件为基线预警、基线预警破线、基线破线等的报警内容,统一增加任务所属的项目-集群信息,方便区分是当前项目-集群的任务还是所依赖的跨项目的任务引发的报警。

安全中心

版本:v4.3.0

新增功能

1、【权限中心】Doris底座支持列的权限申请、

2、【数据授权】Doris底座支持列的数据授权和批量授权Doris列、行级权限

3、【数据识别】任务支持选择“全部”敏感类型

4、界面功能交互优化

数据资产地图

版本:v3.2.0

功能优化

1、元数据注册申请确权的人员维护,通过控制台的项目配置里面【业务分组管理】进行人员管理配置

控制台

版本:v1.18.2

新增功能

1、项目组配置中新增【业务分组管理】(确权人员名单)管理功能