EasyData更新记录(2022)
更新时间: 2022-05-25 10:41:18
阅读 1573
本文为您介绍数据开发及管理平台产品更新动态,帮助您及时了解平台的新增功能及功能优化等,快速掌握产品情况。
6.5.0
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 指标系统(v2.2.9) | 新增 | 指标系统对接安全中心,在安全中心管理的功能权限,包括指标字典、修饰词管理、衍生词管理以及字段属性,即对于指标字段中的字段内容,也可以通过安全中心赋权是否可查看的权限。 | 2022.02 | 指标系统权限设置 |
新增 | 解除对平台”指标审批者”角色的依赖,新增在新建二级指标域时需配置指标审批者。原先指标审批者的角色由系统预置,所属该角色的用户有指标及衍生词新建、编辑、上传的审批权限,现可针对不同指标域进行单独设置。 | 指标审批者 | |||
新增 | 新增衍生词审批者设置,解除对指标审批者角色的依赖,可在项目配置中指定,默认为项目组负责人、数据团队管理者和指标管理者角色。 | 衍生词审批者 | |||
新增 | 指标字典列表增加关联表数量,包括直接和间接关联表的总数量,支持排序。该字段在指标详情页中默认展示,不受权限控制。 | - | |||
新增 | 自定义指标模板中如果未开启衍生原子指标,则主原子指标默认为原子指标。 | 指标类型自定义设置 | |||
新增 | 如果平台没有模型设计中心和数据地图两个子产品,则同步数仓域功能不显示,可分析维度下拉中无模型设计中心的维度,指标应用不显示直接关联表和间接关联表,列表中不显示关联表数量。 | - | |||
新增 | 如果未对接有数BI,则指标详情页,有数报表分析不显示。 | - | |||
优化 | 创建或编辑派生指标、复合指标时,修改指标依赖的某些字段,比如时间、修饰词等,指标名称和指标标识均随之变化。 | - | |||
指标系统(v2.3.0) | 新增 | 指标系统支持openAPI开放。 | 2022.03 | - | |
优化 | 大小写指标域标识转换。在自定义模板中,若开启了指标标识由系统自动生成,默认为一级指标域+二级指标域+自动编码且仅支持小写英文、数字和_。如果指标域通过模型设计中心同步创建,由于模型设计中心的数仓域标识支持大写,创建指标时会报错,需要将模型设计中心的数仓域大写转换为小写字母。 | - | |||
2 | 数据服务(v1.4.7) | 优化 | SQL模式下,Mybatis动态查询增加特殊字符转义说明。 | 2022.01 | - |
优化 | 事件跟踪中,动作筛选补充API相关,去掉数据抽取等模块。 | - | |||
数据服务(v1.4.8) | 新增 | 增加API协助管理者功能,新建API时,可选择项目内成员,权限等同创建人,拥有对API的所有操作权限。 | 2022.02 | - | |
新增 | 在SQL模式下,支持将数据字段快捷作为返回填充,可选择快速填充至返回参数列表中。 | - | |||
新增 | 支持GreenPlum数据源类型,在向导或SQL模式下,均支持选择GP数据源构建API。 | - | |||
新增 | 向导模式下新增Clickhouse、Hive和Doris数据源类型。 | - | |||
新增 | HBase数据源类型,在向导模式下,支持输入Rowkey获取列数据填充至返回参数列表。 | - | |||
新增 | 增加系统参数system_empty_result_not_cache=true,允许用户将获取数据为空的内容不存储在缓存中。 | - | |||
新增 | API详情页面,增加超时时间信息展示。 | - | |||
优化 | SQL模式下,启用分页以及order by字段等内容提示完善。 | - | |||
优化 | API集市和API列表的筛选项支持多选,包括API集合、数据源类型、API类型等内容。 | - | |||
优化 | 交互视觉优化,应用删除按钮保持一致。 | - | |||
优化 | 在API详情页,增加安全中心权限对描述、标签等内容是否有编辑权限的控制。 | - | |||
数据服务(v1.4.9) | 新增 | 数据服务openAPI对外开放。 | 2022.03 | - | |
新增 | SQL模式下,选择数据表后,支持直接复制表名,在代码编辑区可快速粘贴。 | - | |||
优化 | 创建API时,在SQL模式下,若不勾选”启用分页”,系统仅返回200条数据,在测试页面增加相关内容提醒。包括: 1. 若API升级且未开启缓存,测试页面增加提示; 2. 在非升级状态且SQL模式下,进入测试页面未开启分页时,增加提醒; 3. 启用分页参数按钮增加说明; 4. 注意事项增加提醒。 |
- | |||
数据服务(v1.5.0) | 新增 | 新建API时,SQL和向导模式均支持Vertica数据源类型创建API,API列表支持筛选Vertica数据源类型。 | 2022.03 | - | |
新增 | 在API集市、申请API中,调用截止时间和调用频次支持自定义。 | API集市 | |||
新增 | 数据服务API调用,支持前端跨域请求。 | - | |||
新增 | 域名规范统一,统一为easydata域名。 | - | |||
优化 | 在API集市中,若开启了行列级权限控制,流程协作与通知中心的工单详情页中,增加行列级权限文字显示。 | - | |||
优化 | 在API集市和API详情页,设置调用截止时间时,不可选择当前时间段之前的时间。 | - | |||
3 | 数据测试中心(v1.0.6) | 优化 | 枚举字段探查占比优化,进行百分比计算时,不再四舍五入,保留原有计算结果。 | 2022.01 | - |
优化 | 支持前端性能统计。 | - | |||
优化 | 数据探查、数据比对Spark参数支持默认值填入。 | - | |||
4 | 元数据中心(v4.2.0) | 新增 | 增加OpenAPI:数据源详情获取、数据源列表获取。 | 2022.03 | - |
新增 | 登记Greenplum、PostgreSQL数据源时,支持选填Schema信息。 | - | |||
新增 | 数据源驱动设置为可配,支持mgr驱动更换。 | - | |||
新增 | table list增加参数用于返回假count数据,便于调用方控制循环。 | - | |||
新增 | 表owner增加开关,并增加字段mammutTableOwner,对外默认开启。开启时,优先从metadata中获取owner,关闭时,优先从serde的owner获取。 | - | |||
5 | 任务运维中心(v1.2.0) | 新增 | 新增任务血缘DAG图。点击查看任务详情,切换到“任务血缘”tab页,可查看任务的上下游血缘,支持血缘范围筛选、血缘层数筛选、缩略导航图引导等。 | 2022.02 | 任务血缘 |
新增 | 新增任务详情基本信息。在任务列表点击任务详情可进入查看详情页,详情页包括对任务的操作(编辑、补数据、转交任务、设置基线、设置优先级、取消调度等)、任务基本信息、调度信息、节点信息等。 | 任务详情 | |||
新增 | 任务列表页新增一列“血缘统计信息”,方便用户快速查看每个任务的血缘统计情况。血缘统计信息包括该任务的全部上游数、上游总层数、直接上游数、全部下游数、下游总层数、直接下游数、最近更新时间等。 | 任务列表 | |||
优化 | 报警规则操作权限优化。原先有权限对报警规则编辑、删除的人默认为项目负责人、管理员、创建人,本次增加了在项目中心-功能权限模块中授权过该功能点的人均有操作权限。 | 报警规则权限 | |||
优化 | 优化运维大盘中基线完成时间曲线图。例如基线实际是次日02:00完成,以前会展示成当日02:00会造成用户误导,本次优化后会展示成“02:00(+1天)”,更加直观清晰的判断出基线跨日完成的情况。 | - | |||
任务运维中心(v1.3.0) | 新增 | 旧版运维中心下线。 | 2022.04 | - | |
新增 | 任务详情页,增加执行历史、执行计划,方便用户了解任务的历史执行情况和未来计划执行的实例列表。 | 执行历史 | |||
新增 | 增加查看节点的执行历史。 | 任务列表 | |||
新增 | 运维大盘,增加实例耗时排行、调度延迟排行。 | 运维大盘 | |||
新增 | 补数据新增跨周期自依赖开关、正序/倒序、并发设置、选择队列等功能。 | 补数据配置 | |||
新增 | 支持任务完成超时告警的功能。例如在离线开发中设置任务计划执行时间为每天09:00,完成超时时间为2h,则当11:00点任务实例未成功,则会触发告警。需后台设置才可使用。 | 编辑报警 | |||
新增 | 增加旧版任务运维中心的跳转入口。为了能够平稳的过渡到新版任务运维中心,产品上保留旧版的跳转入口,待过渡期结束将去掉旧版跳转入口。目前在任务列表页、任务详情页、实例列表页、实例详情页均有旧版跳转入口供用户查看历史数据。 | - | |||
优化 | 重跑权限优化。原来只有项目负责人和管理员有重跑权限,权限比较固定。现在将重跑权限对接功能授权,只要授权的角色和人员均可操作重跑,使得权限更加灵活可控。 | 重跑权限 | |||
优化 | 报警发送失败时,增加失败的原因文案。通常发送失败的原因包括:手机号有误、邮箱有误、人员离职等。 | 报警响应 | |||
优化 | 大盘基线统计接口性能优化。 | - | |||
6 | 数据质量中心(v1.3.1) | 新增 | 新增质量报告,原有的质量排行榜、表质量评分合并为质量报告模块。表质量排行列表展示所有线上调度过的表,并支持跳转到表级质量报告。 | 2022.03 | 质量报告 |
新增 | 新增表质量报告。 | 质量报告详情 | |||
优化 | 实例的运行日志页面增加application的跳转链接,跳转至yarn日志。 | - | |||
优化 | 质量大屏图表样式优化。 | 质量大屏 | |||
优化 | 自定义sql解析优化并增加解析失败提示。 | - | |||
优化 | 监控对象支持选择当前用户有读写权限的数据源。 | - | |||
优化 | 增加参数dqc.partitions.replace作为分区替换的开关,默认情况下为true,可在的set参数中添加。 | - | |||
优化 | 规则模板校验类型更改,统一归为及时性、有效性、准确性、唯一性、完整性、一致性、其他七大类。 | - | |||
数据质量中心(v1.3.2) | 优化 | tableOwner 统一使用元数据中心的mammutTableOwner。 | 2022.03 | - | |
7 | 安全中心(v3.4.0) | 新增 | 新增审计日志,审计日志展示项目组的日志,当前子产品只接入安全中心。 | 2022.02 | 操作审计 |
安全中心(v3.5.0) | 新增 | 脱敏管理新增数据识别功能,用于识别指定范围内的敏感字段。 | 2022.03 | 数据识别 | |
8 | 数据资产中心(v2.1.0) | 新增 | 新增健康诊分扫描,计算增加自助分析相关规则。 | 2022.01 | 健康诊断 |
新增 | 对于未设置生命周期的表,若确实需要将表永久保存,支持加入永久保存的白名单,则健康分扫描时将不会包含白名单中的表。 | 生命周期永久保存 | |||
新增 | 数据冷备中支持表级别数据冷备。 | 表级别数据冷备 | |||
新增 | 小文件发现,以Hive表维度,展示分区数、文件数和平均文件大小等内容,对发现小文件提供数据。 | 小文件发现 | |||
数据资产中心(v2.1.1) | 新增 | 新增健康诊断页面,将资产大盘中资产健康分相关内容抽出,单独作为健康诊断的内容。 | 2022.01 | 健康诊断 | |
新增 | 资产大盘增加数据源和任务概况。 | 资产概况 | |||
新增 | 治理项的优化建议,在健康诊断-待治理项列表,增加针对治理项的优化建议。 | 治理项优化建议 | |||
新增 | 存储计算增加规则:分区数量大于3W的表。 | 存储健康分规则 | |||
新增 | 计算分析-调度任务:节点列表增加队列信息、支持下载任务和下载节点功能。 | 计算分析-调度任务 | |||
优化 | 在生命周期设置中,若表需要永久保存,加入了永久保存的白名单,则在存储健康分扫描中将去掉此类表,且周一上午发送的数据治理邮件通知中,”生命周期管理相关”也会去掉已经加入白名单的表。 | - | |||
优化 | 计算健康分的自助分析比例调整,由原本的40%降低至10%。 | - | |||
优化 | 数据备份列表,交互视觉优化,列表统一。 | - | |||
数据资产中心(v2.1.2) | 新增 | 生命周期诊断列表,增加分区数字段,支持排序,便于查询大分区表是否设置生命周期。 | 2022.01 | 分区展示 | |
优化 | 图表等空态处理。 | - | |||
新增 | 资产大盘–资产概况,数据源类型筛选,保持和控制台支持的数据源类型一致。 | 资产概况 | |||
新增 | 健康诊断,待治理负责人排行,任务数量支持点击并跳转至”健康分待治理项”,作出筛选。 | 待治理排行榜 | |||
新增 | 存储分析,Hive表详情中,支持快速筛选出表文件是否符合规范的表,对于不符合规范的表,不支持在平台进行下线操作或设置生命周期。 | 不符合规范表 | |||
新增 | 待治理项,对于离线任务,”任务名称”指的是flow名称;对于自助分析任务,同一个Query实例聚合展示。 | - | |||
优化 | 有数报表分析底层架构优化。 | - | |||
优化 | 生命周期到期删除策略优化,优化获取待删除的分区详情的时间,优化性能提升近40%。 | - | |||
优化 | 冷备功能支持hadoop2.9版本,优先支持表冷备功能。 | - | |||
优化 | 存储分析,推荐下线表和生命周期诊断页面联动优化,拆分为独立页面,筛选条件等互不影响。 | - | |||
9 | 离线开发(v6.4.3) | 新增 | 离线开发支持显示修改记录和版本历史。 | 2022.03 | 修改记录与版本历史 |
新增 | 离线开发-线上模式-编辑报警,支持配置完成超时。 | 完成超时规则 | |||
优化 | 微前端升级改造,统一到easydata域名。 1. 本次将所有子产品都升级到了easydata域名,同时导航栏切换时闪烁的问题得到解决。 2. 建议各用户将原本收藏的域名,都改为新的easydata域名,老域名的顶部导航和新域名的不互通。 |
- | |||
优化 | 邮件、短信和popo等支持自定义产品名称。当前仅支持后台数据库配置。 | - | |||
10 | 数据传输(v2.3.2) | 优化 | 支持Doris新版Spark Connector。 | 2022.03 | Doris数据源使用说明 |
数据传输(v2.4.0) | 新增 | 新增数据导入模块,支持导入excel、txt、csv、log格式的本地文件至Hive等20+种数据去向,需配置EasyOps参数开启该功能。 | 2022.03 | 数据导入 | |
新增 | 数据去向为Doris,新增导入方式:broker load,主要适用场景为Hive2doris的大数据量导入场景。 | Doris作为数据去向 | |||
新增 | 并发读取支持选择字符型字段作为切分键。 | 并发设置 | |||
优化 | 数据去向为Hive时,快速建表时支持获取源表表名注释写入建表语句。 | - | |||
优化 | 任务链接对应的任务已删除时,跳转报错页面。 | - | |||
11 | 数据地图(v1.6.0) | 新增 | 支持GreenPlum的浪潮MPP版本,可搜索表、详情展示、数据表血缘查看。 | 2022.03 | Greenplum |
新增 | 支持修改MySQL、Vertica、GreenPlum的表描述、列描述。 | - | |||
新增 | 实时流表血缘支持写入HBase/Kudu的血缘。 | 实时流表 | |||
优化 | Hive分区元数据刷新问题修复,包括分区信息中的记录数、存储空间、文件数。 | - |
6.4.0 Update 0.3
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据标准(v1.1.0) | 新增 | 支持词根管理,维护中文、英文、简写对应关系。 | 2022.02 | 词根管理 |
新增 | 支持数据项分类管理及关联数据元。 | 数据项分类 | |||
新增 | 支持数据元批量导入。 | 数据元批量导入 | |||
新增 | 支持数据元按照选择的内容、最新状态或发布版本进行导出。 | 数据元批量导出 | |||
新增 | 支持数据元添加分类方案。 | 关系类属性 | |||
新增 | 支持数据字典项批量导入。 | 添加字典值 | |||
新增 | 支持数据字典按照状态进行标识以及筛选。 | 字典筛选 | |||
新增 | 支持单个数据字典的码表导出。 | 字典导出 | |||
新增 | 支持数据字典添加字典英文名。 | 添加字典 | |||
新增 | 支持数据元及数据字典点击版本记录切换版本查看。 | 发布历史 | |||
新增 | 支持在发布历史点击发布版本查看发布内容。 | 发布历史 | |||
优化 | 支持数据元与开发状态数据字典进行关联(之前仅允许发布过后的标准字典进行关联)。 | - | |||
优化 | 支持数据标准制定人及审核人查看一般用户视角(即预览发布后的内容展示情况)。 | 查看数据元 | |||
优化 | 数据元及数据字典名称和内部标识符支持即时校验。 | - | |||
数据标准(v1.2.0) | 新增 | 支持自定义数据元注册模板,用户可对系统内置项的启用及必填配置以及支持用户添加自定义描述项。 | 2022.03 | 数据元自定义模板 | |
新增 | 支持自定义数据字典注册模板,用户可对系统内置项的启用及必填配置以及支持用户添加自定义描述项。 | 数据字典模板 | |||
新增 | 1. 数据元英文名称支持按中文名称拆字根据词根进行翻译; 2. 数据元拼音支持按中文名称自动生成。 |
数据元创建 | |||
新增 | 支持数据元及字典的标识符自动生成。 | 标识类属性 | |||
新增 | 数据元值域新增取值范围类型。 | 表示类属性 | |||
新增 | 支持与模型对接提供数据元及数据字典接口,模型设计(V1.2.8)时支持绑定数据元及数据字典。 | 待补充,模型设计中心尚未支持 | |||
新增 | 支持与质量中心对接,提供稽核规则要求。 | 待补充,质量中心尚未支持 | |||
优化 | 字典添加或编辑是支持字典值必填校验。 | - | |||
优化 | 导航栏名称简化,去除管理字样。 | - | |||
优化 | 一般用户界面提供操作指引。 | - | |||
2 | 数据地图(v1.5.3) | 新增 | 数据地图新增元数据管理模块,包括元数据表单注册、批量导入、元数据查看、元数据搜索、元数据注册模板自定义。 | 2022.03 | 元数据管理 |
新增 | 元数据注册,支持基础表、指标、标签三类元数据的注册。 | 添加元数据 | |||
新增 | 用户可通过批量导入功能,将线下维护的基础表、指标、标签元数据导入到平台中。平台支持下载模板,根据模板填写规范即可导入,若导入内容不规范系统会提示相应文案。 | 批量导入 | |||
新增 | 元数据列表支持查看、编辑、删除以及元数据搜索。 | 元数据其它操作 | |||
新增 | 元数据注册模板管理,支持表级、字段级、指标、标签四类注册模板的自定义(项目负责人、项目管理员有操作权限)。 | 注册模板配置 |
6.4.0 Update 0.2
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 数据传输(v2.3.1) | 新增 | 数据传输接入安全中心功能权限,实现数据传输的离线同步任务和实时同步任务的功能权限管控。 | 2022.02 | 功能权限 |
新增 | 数据传输接入控制台源系统账号鉴权。 | 数据源管理 | |||
新增 | 数据传输支持静态脱敏。 | 新建单个离线同步任务 | |||
新增 | 数据来源为:FTP时,支持校验数据传输读取行数和校验文件记录的数据行数是否一致。 | - | |||
优化 | 无权限访问项目时,增加报错提示。 | - | |||
优化 | 在使用数据过滤条件时,提供参数splitWithoutCondition指定在切分过程中是对整表切分,还是对本次的查询区间切分。 | - | |||
新增 | 离线同步任务支持读写浪潮云海MPP,当前支持浪潮云海Insight MPP V4版本。 | - | |||
优化 | 数据传输读写GreenPlum时,库表选择请选择数据库改为请选择schema。 | - | |||
优化 | 数据来源端为GreenPlum时,分区字段改为选填项。若数据源版本为PostgreSQL v9.4时,分区字段为必填项;若数据源版本为浪潮云海Insight MPP V4时,分区字段可选填。 | - | |||
优化 | 数据去向为GreenPlum时,新增写入规则:Overwrite-truncate(清空表数据后插入数据)。当数据去向为GreenPlum时,目前支持的写入规则:Append、Overwrite-delete、Overwrite-truncate。 | - | |||
2 | 离线开发(v6.4.2) | 新增 | 批量导出和导入增加调度信息。 | 2022.03 | 任务批量导出和导入 |
新增 | 离线开发任务编辑调度,支持设置调度失效时间。 | 编辑调度 | |||
新增 | 离线开发任务开发模式运行,支持配置执行参照时间。 | 运行测试 | |||
新增 | 离线开发开发模式运行,支持配置完成通知。 | 运行测试 | |||
新增 | 离线开发编辑调度,智能推荐依赖支持推荐数据同步节点。 | - | |||
新增 | 离线开发的依赖授权支持项目组内全公开功能。 | 依赖授权 | |||
新增 | 公共资源的资源组,增加存储路径显示。 | 公共资源 | |||
新增 | 公共资源的参数组,增加数据传输产品的引用信息。 | - | |||
优化 | 项目中心的项目配置,相关文件夹圈选优化。 | 项目配置 | |||
优化 | 任务发布增加资源组和参数组等引用信息。 | - | |||
优化 | 任务复制、导出、导入时增加附带信息,原来只包含任务和资源,目前任务会有引用参数组、引用资源组、任务描述、任务配置等内容。 | - | |||
优化 | 离线开发的VerticaSQL节点(需要开启该节点)运行和自助分析中连接Vertica数据源运行,在日志中增加显示执行sql、运行时长、影响行数、运行结果。 | - | |||
3 | 元数据中心(v4.1.8) | 新增 | 新增浪潮MPP数据源支持(Greenplum的一个定制版本),包括数据源登记、测试连接、库表列获取等功能。在数据源登记时,可选择登记GreenPlum数据源,可选择版本号:浪潮云海Insight MPP V4。 | 2022.02 | - |
新增 | 支持GreenPlum数据类型的血缘以及表DDL实时推送流程,表DDL实时推送包括在模型设计中心、离线开发、自助分析中建表后,能够将DDL实时推送给元数据中心存储下来,以便在数据地图能够即时搜索查询到新建的表。 | - | |||
新增 | 支持模型设计中心GreenPlum类型的建表,存储及查询GreenPlum信息。 | - | |||
新增 | 支持查看数据源引用任务详情,对接数据服务的引用任务信息。 | - | |||
新增 | 支持登记CDH Hive,支持的版本号为:0.14-CDH5.3、1.1.0-CDH5.16、2.1-CDH6.3.4。(仅限实时计算使用) | - | |||
优化 | 数据源名称修改为项目组下唯一,之前是限制同类型下唯一。 | - | |||
优化 | 数据源重复登记的报错文案优化。 | - | |||
4 | 控制台(v1.2.0) | 新增 | 支持浪潮云海MPP登记,用于数据传输、模型设计中心、离线开发、数据质量中心、数据地图等子产品使用。 | 2022.02 | - |
新增 | 支持登记CDH Hive,用于实时计算。(支持版本号为:0.14-CDH5.3、1.1.0-CDH5.16、2.1-CDH6.3.4) | - | |||
新增 | Kafka增加用户名密码认证模式及源系统账号鉴权功能,用于实时计算。 | - | |||
新增 | 提供openAPI接口: 1. 数据源列表及详情查询; 2. 实时累计用户数(不分项目); 3. 指定项目用户数; 4. 项目列表及详情查询; 5. 项目用户及对应角色查询。 |
- | |||
5 | 数据质量中心(v1.3.0) | 新增 | 质量大屏支持下钻到次级主题域。针对Hive表,涉及表质量平均分、监控配置情况、调度监控执行情况,增加主题域筛选条件,按主题域展开展示结果,可下钻到次级主题域。 | 2022.02 | 数据质量评估 |
新增 | MySQL支持自定义分区:对于MySQL此种不自带分区的数据源类型,提供自定义分区设置。 | 创建稽核监控任务 | |||
优化 | 规则模板分类: 1. 支持规则模板按规则类型(字段级/表级)、校验类型(完整性校验、有效性校验、数值型校验、波动型校验、唯一性校验、准确性校验、一致性校验、通用保障、其它)分类展示 ; 2. 增加筛选条件:规则类型、适用数据表类型、校验类型。 |
- | |||
新增 | 丰富规则模板: 1. 系统内置新增7个字段级规则模板; 2. 新建规则模板支持新增通用、固定值、重复性、波动性规则模板。 3. 新建规则选择字段时展示字段类型,支持选择新增的字段级内置模板进行规则灵活配置。 4. 新增模板规则支持执行实例、执行趋势展示。 |
- | |||
优化 | 执行趋势字段级规则检查的筛选条件优化为按规则名称筛选。 | - | |||
优化 | 表行数波动率规则运行结果和执行趋势中,会展示此次的表行数和上一周期表行数。 | - | |||
优化 | 点击执行实例ID跳转任务运维中心(新)实例详情页。 | - | |||
优化 | 报警配置统一收拢到报警中心。 | - | |||
新增 | 质量中心支持Greenplum数据源: 1. 支持对Greenplum数据源进行数据质量监控配置; 2. 支持适用 postgresql数据表(适用Greenplum数据源)规则模板; 3.支持展示监控对象为Greenplum数据源的相关质量结果。 |
2022.03 | - | ||
优化 | 试跑的执行队列,增加CPU和内存的显示。 | - | |||
6 | 模型设计中心(v1.2.7) | 新增 | 模型设计中心支持Greenplum数据源类型。 | 2022.03 | 外部数据源建表演示 |
7 | 数据地图(v1.5.1) | 优化 | 优化hive表负责人的查询和存储。表负责人信息由原来查询平台的接口改成查询元数据中心接口,修改负责人会同时更新到hms和metahub。 | 2022.03 | - |
8 | 任务运维中心(v1.1.0) | 新增 | 新增调度失效功能。 | 2022.02 | 任务列表 |
优化 | 智能诊断优化,对底层报错日志获取方式重构,同时增加用户诊断结果反馈打标。 | 智能诊断 | |||
优化 | 告警模板文案优化,优化标题和新增跳转链接。 | - | |||
优化 | 优化基线运维中已完成的基线的文案。 | - | |||
新增 | 告警历史增加响应信息,包括响应人、响应时间。 | 报警历史 | |||
9 | 安全中心(v3.3.2) | 新增 | 安全中心新增脱敏管理模块进行数据敏感类型配置、脱敏规则配置、脱敏算法查看。 | 2022.02 | 脱敏管理 |
优化 | 权限申请功能优化: 1. 取消申请对象项目组和项目信息选择,只能为本项目下的账号申请权限。 2. 将账号类型划分为当前账号、他人账号、项目账号三种。 3. 交互视觉优化:优化布局和交互,将待添加和待申请以穿梭框的形式选择。 |
权限申请 | |||
优化 | 支持视图权限授予和申请,创建、删除视图时,自动为创建人授予和回收hive权限。 | - | |||
优化 | 我的权限和权限到期通知展示资源的项目。 | - | |||
新增 | 支持查看脱敏规则引用的传输任务数和引用详情并支持跳转到相应传输任务,已被引用的规则不可删除。 | 脱敏配置 | |||
新增 | 静态脱敏的补充功能:支持查看线上调度的传输任务脱敏情况,父表展示一个传输任务扫描一次产生的结果(执行实例),子表展示脱敏详情。 | 脱敏结果 |
6.4.0 Update 0.1
编号 | 产品模块 | 特性 | 功能描述 | 时间 | 产品文档 |
---|---|---|---|---|---|
1 | 元数据中心(v4.1.7) | 新增 | 实时血缘扩增数据源类型,在数据地图流表/Topic血缘中可查看写入Kudu、HBase的血缘。 | 2022.02 | Kafka流表 |
新增 | 支持同一任务内的临时表删除后,保持上下游表的血缘关系。 | Hive | |||
新增 | Vertica、Oracle、MySQL数据源,支持离线开发、自助分析、数据传输任务数据产出订阅。 | - | |||
新增 | 获取表列表中增加是否视图表的标识信息。 | - | |||
新增 | 支持自助分析推送任务血缘给元数据中心,目前支持Vertica、Oracle、MySQL。 | - | |||
新增 | 元数据中心返回DECIMAL数据的精度。 | - | |||
新增 | 新旧附加列接口兼容改造,支持批量删除、修改,适配模型设计中心。 | - | |||
优化 | 离线开发任务上线时影响标签tag检测数量过多而卡顿问题优化,通过新增接口限制返回500个标签以及标签总数。 | - | |||
优化 | 线上环境,es定时任务同步默认时长从8h修改为20h。 | - | |||
2 | 模型设计中心(v1.2.6) | 新增 | 模型设计中心支持MySQL、Vertica,相关界面都进行展示调整。 | 2022.02 | 外部数据源建表演示 |
新增 | 主题域界面,支持流批一体表标识展示。 | 主题域 | |||
新增 | 在表设计工单管理-与我相关中,新建/修改表工单、工单列表/工单详情展示均支持MySQL、Vertica。 | - | |||
新增 | 新建/修改表时支持填写/修改表及字段的扩展属性。 | 扩展信息配置 | |||
新增 | 维度可关联多层主题域,不限于二级主题以内。 | - | |||
优化 | 在维度、度量等模块选择表时,支持展示数据源类型标识。 | 维度 | |||
优化 | 新建表时放开维度表只允许选择一个主键的限制。 | - | |||
优化 | 数仓建设概览支持对数据源类型进行合并统计(之前只统计Hive)。 | - | |||
优化 | 去除原表设计规则管理中字段附加列的配置,升级为扩展属性管理页面。 | 扩展信息配置 | |||
优化 | 支持子主题域采用相同命名,放开不同层级主题域不可重名的限制。 | - | |||
优化 | 修改表工单页面排版优化。 | - | |||
3 | 数据地图(v1.5.0) | 新增 | 流表血缘链路中增加区分是读写流表还是Topic的标识。 | 2022.02 | Kafka流表 |
优化 | Hive表详情操作按钮UI入口优化。 | Hive | |||
新增 | Hive表详情增加产出任务信息、产出SQL脚本信息。 | Hive | |||
新增 | 表详情增加快捷搜索入口,方便用户直接搜表,不需要返回搜索首页。 | Hive | |||
新增 | MySQL、Vertica表详情页增加表扩展业务属性信息、字段附加列信息、字段关联的维度或指标、字段编辑等。 | MySQL | |||
新增 | 数仓表导引增加不同类型数据源的支持,包括Hive、MySQL、Vertica,并提供筛选功能。 | 数仓表导引 | |||
优化 | 数据地图记录用户上次登录时的项目集群信息。 | - |
文档反馈
以上内容对您是否有帮助?