EasyData-V9.0-Update14
数据传输
版本:v3.39.0
新增功能1.【离线】离线传输任务,spark引擎sql模式下,支持KingbaseES数据源类型,包括来源和去向。
2.【离线】离线同步任务,spark引擎下Doris数据源版本支持3.0版本。(数据导入模块去向也支持新版本)
3.【离线】离线同步任务,spark引擎向导模式下,数据源ES兼容8.15.5版本。(数据导入模块去向也支持新版本)
4.【实时】实时同步任务,支持引用调度日历配置任务自动启停时间。
功能介绍:
当对实时同步任务配置自动启停时间时,可点击【自动启停】按钮。
选择日期范围时,本期新增‘引用调度日历’选项。下拉选项来自当前项目下【调度日历】中状态为开启的调度日历。配置完成后任务将在调度日历中的调度日运行任务。
- 特殊说明:1)启停时间:指所选调度日期中,每日的启停时间;2)若启停时间选择00:00-00:00,在连续的调度日期中任务不做停止。3)当对启动时间或对当天调度日进行修改后,若任务还未启动则当天生效,若任务已启动则下个调度日生效;当对停止时间修改后,若任务启动中还没停止则当天生效,若任务已停止则下个调度日生效。
1.【数据源】数据源S3展示名称改为AmazonS3。
数据标准
版本:v2.3.3
功能优化1.原始字典的批量导入条数上限扩大
功能介绍
- 之前原始字典和标准字典支持导入的文件大小、字典数量有限,本次进行了扩大
2.数据标准文件大小上限调整
功能介绍
- 增大上传文件的大小
3.导入数据元Excel中支持批量设置安全等级信息
功能介绍
- 数据元导入导出模板增加安全相关信息
指标系统
版本:v2.9.2
功能优化1.指标发布新建依赖判断配置
功能介绍
- 如果指标系统的指标被指标平台的指标引用,则指标系统在发布指标时可以配置是否要依赖指标平台的指标已发布
2.指标地图搜索栏下的统计值支持跳转查看明细
功能介绍
- 指标地图搜索栏下的各项统计值,支持跳转查看明细列表
指标平台
版本:2.6.9.1
功能优化1.资源迁移相关优化
功能介绍
- 资源迁移时要支持更新模型的导入和校验提醒、支持更新模型所关联的公共维度信息、支持导入更新指标等
2.资源迁移时,支持配置负责人
功能介绍
- 资源迁移导入时支持配置导入后的模型和指标对应的新负责人
维度建模
版本:v2.0.6
功能优化1.AutoETL支持历史导入记录、文件下载、导入明细等
功能介绍
- 当导入选择的模板是“批量建表&离线开发任务(DWD、DWS、DIM、ADS)”时,系统支持记录导入历史,并且针对每次历史可下载EXCEL文件、查看EXCEL导入的表和任务清单、查看表的详细字段设计和映射关系
离线开发&自助分析&平台基础
版本:v7.16.4
新增功能1.【离线开发】支持后台配置Azkaban机器分组。
- 功能介绍:
- 支持在后台数据库配置Azkaban的机器分组,可配置诸如某项目下python等节点类型的任务运行在某个Azkaban执行机器上;
- 平台管理员支持在平台管理-资源管理中的集群管理中查看Azkaban的机器分组详情以及生效规则;
- 对于命中Azkaban机器分组的任务,执行时会运行在对应分组下的Azkaban执行机器上,可在日志中查看最终任务生效所归属的Azkaban资源组和执行机器。
2.【自助分析】自助分析的查询结果,针对结果中存在数值型字段的内容,新增千位分隔符的筛选项,勾选后,数值型结果将增加千位分隔符,以提高结果的可读性;
3.【离线开发】离线开发的调度设置功能,针对任务依赖的智能推荐,支持临时表/view的依赖关系推荐;
4.【离线开发】开发模式任务立即运行的Openapi接口完善,新增任务的applicationId方便做日志跳转查看,仅在Spark引擎下任务实际提交后才会产生ApplicationId;
功能优化1.【自助分析】自助分析查看结果执行成功后的失焦问题优化,不影响正在书写的SQL或者搜索表等操作;
2.【自助分析】针对with前带有分号的SQL场景,初始化代码的功能增强,支持with字句单独成段;
3.【自助分析】轻量化场景功能问题完善,若未开启下载/分享功能,则不展示下载/分享申请记录;
4.【自助分析】SQL查询结果的显示优化,若未勾选结果文件,查询结果中不展示下载行数字段;
5.【自助分析】针对代码扫描不支持的数据源类型,运行成功后,相关提示内容优化;
6.【离线开发】删除任务时,若任务处于工单审批状态,支持在弹窗中提供工单编号;
7.【离线开发】离线开发的git拉取任务逻辑优化,新增类型匹配判断,远程拉取任务和失败详情等提示内容适配;
版本:v7.16.3
新增功能1.【离线开发】平台管理员支持针对离线开发的任务编辑模式开启编辑锁功能,支持对任务编辑时需要先点击编辑锁。
- 功能介绍:
- 平台管理员在平台管理页面(平台管理的基础配置),支持针对离线开发-任务编辑模式开启编辑锁功能;
- 平台管理员开启了编辑锁功能后,对整个平台下的所有项目均生效;
- 项目下的离线开发模块,针对任务的编辑模式会发生变化,需要先点击编辑锁才能对任务进行编辑,且同一时刻仅允许一个人对任务进行编辑,其他成员可查看编辑人和编辑锁定时间;
- 在编辑锁定状态下,调度设置、报警设置、资源和配置等功能均仅支持查看,不可编辑操作;
- 用户点击了编辑锁后,可正常对任务进行编辑操作,包括上传任务包等,同时支持用户主动释放编辑锁,释放后的任务若需要编辑,则需要重新点击编辑锁按钮。
- 另外对任务进行编辑后,若提交上线成功,也会主动释放编辑锁;
- 对于项目管理员和负责人角色,支持解除编辑锁,同时编辑人也会收到被解除的通知;
- 对于任务右键的锁定操作,支持先锁定再编辑,但是点击了编辑锁之后,将无法再对任务进行锁定操作,两者均属于对任务进行了锁定;
- 安全中心的操作审计页面,针对编辑锁和解除编辑锁功能,会在"锁定""解除锁定"操作类型中记录;
2.【自助分析】行数超过下载上限时,SQL查询结果中的"复制结果"放开使用权限;
3.【离线开发】在离线开发调度配置页面,若同周期依赖选择了按上游周期生效或者按小周期生效,添加的上游任务若同周期依赖不生效,会增加文案提示;
4.【自助分析】自助分析的Doris数据源类型适配支持3.0.4版本;
功能优化1.【离线开发】批量操作页面,增加分页器,支持展示列表总数和分页;
任务运维中心
版本:v1.21.5
新增功能1.基线管理,通知方式新增群聊报警设置
- 功能介绍
- 新建基线,通知方式支持群聊报警设置,可选择微信、popo群、飞书群等群聊报警渠道;
- 报警规则中,针对基线报警,报警规则的弹窗文案修正,群聊报警设置中,指定人员仅支持值班组;
版本:v1.21.4
新增功能1.支持平台管理员对任务运维的实例异常通知开启是否展示核心日志,开启后,实例异常的通知内容将增加核心日志内容;
- 功能介绍
- 平台管理员,可在平台管理-基础配置中,对于通知模板管理,支持对于实例异常通知开启是否增加核心日志;
- 开启后,生效产品支持选择任务运维,生效渠道包括邮件、popo和stone等渠道,且该通知内容会在整个平台下的所有项目下生效;
- 开启后,任务运维实例异常的通知内容中,会额外新增核心日志的展示;
2.有关质量异常的报警通知内容,新增异常规则和描述的内容展示;
- 功能介绍
- 离线开发试运行和任务运维的报警通知中,针对质量异常报警,报警通知内容中新增异常规则和描述的展示; -若未获取到异常明细,将展示提示文案:未获取到异常明细,请至详情页查看; -报警历史的详情弹窗中,同样适配展示异常明细和描述;
1.批量终止操作的弹窗展示优化,适配任务数量较多时的交互;
2.同周期依赖不生效增加文案提示,任务血缘图等内容适配;
实时计算
版本:v4.17.0
新增功能1.实时开发任务,支持引用调度日历配置任务自动启停时间。
- 功能介绍:
- 当对实时开发任务配置自动启停时间时,可点击【自动启停】按钮。
- 选择日期范围时,本期新增‘引用调度日历’选项。下拉选项来自当前项目下【调度日历】中状态为开启的调度日历。配置完成后任务将在调度日历中的调度日运行任务。
- 特殊说明:1)启停时间:指所选调度日期中,每日的启停时间;2)若启停时间选择00:00-00:00,在连续的调度日期中任务不做停止。3)当对启动时间或对当天调度日进行修改后,若任务还未启动则当天生效,若任务已启动则下个调度日生效;当对停止时间修改后,若任务启动中还没停止则当天生效,若任务已停止则下个调度日生效。
数据质量中心
版本:3.16.7
新增功能1.数据质量中心的审批流程相关,统一对接流程协作与通知中心的新事件机制,支持灵活调整画布;
2.数据质量大屏支持问题管理的数据汇总,可查看问题总览和历史趋势内容。
发布中心
版本:1.9.1
功能优化1.发布中心在发布包过程中生成的工单,在工单详情页,查看资源详情时,支持点击资源名称跳转到资源详情页;
2.发布中心发布任务时,支持跨项目组发布钉钉群聊告警配置的问题修复;
3.发布包创建,创建时自动基于引用关系添加的Hover文案更新;
控制台及项目中心(新)
版本:v1.17.7
新增功能1.平台管理-基础配置,资源管理中,针对集群管理新增展示Azkaban执行策略的内容展示,平台管理员可查看Azkaban执行策略的执行规则,调度资源组详情等内容;
功能优化1.轻量化遗留问题修复,在项目组中心-配置管理中,针对项目内库表展示控制,hover提示内容优化;
版本:v1.17.6
新增功能1.平台管理-基础配置,平台管理中新增离线开发-任务编辑模式配置功能,平台管理员可选择是否开启离线任务编辑锁功能;
2.平台管理-基础配置,通知模板管理中新增通知内容控制,可配置针对实例异常通知是否开启增加核心日志的功能,平台管理员可选择是否开启。
数据服务
版本:v1.13.3
新增功能1.支持openAPI
功能优化1.脚本模式SQL结尾增加分号检测校验
安全中心
版本:v4.2.5
新增功能- doris支持识别脱敏
以上内容对您是否有帮助?