本文为您介绍数据开发及管理平台产品更新动态,帮助您及时了解平台的新增功能及功能优化等,快速掌握产品情况。

版本暂定

编号 产品模块 特性 功能描述 时间 产品文档
1 安全中心(v3.7.2) 新增 新增负责人、管理员全部权限开关,开启时当前角色有包含新增权限在内的全部功能权限。 2022.08 角色管理
新增 数据识别支持全表扫描,条数不设上限。新建识别任务时,扫描方式可选 全表扫描/抽样扫描,选择全表扫描时无需配置识别行数,全表扫描。 数据识别
新增 数据识别识别结果修改敏感类型时联动修改安全等级。 数据识别
新增 操作审计,审计日志不区分集群,展示项目组下全部日志,搜索条件增加项目组和集群。 操作审计
新增 数据授权/目录授权搜索优化:
1.数据授权左侧树支持模糊搜索库名
2.数据授权/目录授权 新增权限,选中授权对象为角色,选择授权对象所属项目时支持项目名模糊搜索
3.数据授权/目录授权 新增权限 ,搜索角色/用户时 搜索支持模糊匹配,忽略大小写,目前是大小写敏感的
数据权限
2 控制台(v1.2.6) 新增 账号密码支持加密传输。 2022.08 -
新增 Hive数据源登记新增版本:Sensors Data-Impala 3.2.18.6,支持基于Impala JDBC连接神策Hive(Hadoop版本:3.1.1.3.1.4.0-315,认证方式:用户名认证)。 数据源Hive
优化 导航数据从mammut服务迁移到控制台,并修复了跳转到数据标准不能正确跳转到正确的项目-集群的问题。 -
优化 控制台的邮件通知接入数据开发及管理平台的统一邮件模板。 -
优化 平台管理-基础配置隐藏“消息模板管理”入口。隐藏原因:当前子产品还未完全接入消息模板,待子产品都接入后重新暴露。 -
控制台(v1.2.6.2) 新增 SQL Server数据源登记配置修改,新增版本:2008。 2022.08 数据源SQLServer
新增 Hive数据源登记配置修改:认证方式为Simple认证时用户名由必填改选填。 数据源Hive
新增 无账号权限用户,进入控制台无产品页面,点击申请由跳转独立域名改为跳转统一域名。 -
3 数据地图(v2.1.1) 新增 元数据支持暂时保存功能。 2022.08 元数据注册
新增 元数据采集失败时支持邮件报警。当元数据采集失败时,可以根据设置的接收人名单接收对应的报警邮件通知。 元数据采集
优化 导入时若模板文件存在format但无内容时,忽略报错,可继续导入。 -
4 数据服务(v1.5.2) 新增 服务编排支持UDF节点,可通过上传jar包处理更为复杂的编排业务逻辑。 2022.08 服务编排
新增 服务编排使用功能改进。
1.画布支持整个flow上下移动,增加自动布局功能,可根据画布大小和工作流位置提供最优布局
2.python和条件节点的自定义代码区优化,提示留意python代码缩进规则,且调整返回数值位置
3.python和条件节点,放大代码区编辑优化,代码框放大后,由原本的退出和上一步操作,替换为保存与取消功能键
4.保留编排测试数据,在保存成功之后,再次进入服务编排,会自动保存上一次的测试数据,不需要重新输入,优化使用方式。
-
新增 服务编排的结束节点支持系统填充返回参数功能,且仅支持填充上游为API类型的节点数据。 服务编排
新增 节点基本信息配置,不允许参数重名。 -
新增 支持服务编排API进行在线升级操作。 服务编排
新增 支持服务编排API的版本历史管理。 服务编排
新增 新建API的第二步,对于后置参数的二次处理,上传jar包功能优化,增加jar模板下载功能。 API开发和管理
新增 API列表支持API path定位搜索功能,API path包含前缀 + 集合path + api path。 -
新增 API测试页面,执行测试操作,返回数据中打印执行SQL,便于问题定位。 API测试
新增 资源组配置页面优化。
1.资源组增加启用功能,只有启用成功的资源组才可以被选择使用(对于线上已有的资源组,上线会默认均为已启用状态)
2.在启用资源组时,需要后台先启用对应的查询实例,有关于实例启动的步骤,可查看文档说明中的资源组配置,结合ops启动查询实例
3.若停用资源组,需保证资源组未被API引用,且停用后,资源组将不再可选被使用。
资源组管理
新增 事件跟踪功能迁移,对接安全中心审计日志,在审计日志中查看所有子产品的审计信息。 -
优化 解决对于新用户登录切换的问题。 -
优化 页面访问传递增加项目集群,解决以下问题:在一个页面上打开A项目,另外一个页面打开B项目,此时再回到A项目,右上角的项目为B,但显示的内容还是A。 -
优化 服务编排全局运行时,输出结果展示优化,运行结果中,根据节点名称,分为输入、输出和错误信息,便于快速定位报错节点信息。 -
5 数据传输(v2.6.1) 新增 支持批量导入导出离线同步任务。 2022.08 离线同步任务批量导出导入
新增 MySQL、Oracle、SQLServer支持全量初始化。 数据源MySQL
新增 数据来源端为Hive时,支持基于Impala JDBC读取Hive数据。(Hive版本为:Sensors Data-Impala 3.2.18.6、Hive认证方式为:用户名认证) 数据源Hive
新增 支持ES动态索引模式。 数据源ES
优化 按照逻辑数据源模式读取物理数据源时,接入源系统账号鉴权。 -
优化 独立域名强制跳转到统一域名。 -
优化 源系统账号鉴权功能修改。
修改前:数据传输试运行及离线开发开发模式运行时,连接数据源时使用执行任务的个人账号所映射的源系统账号;离线开发线上模式运行时,连接数据源时使用项目账号所映射的源系统账号
修改后:数据传输试运行、离线开发开发模式运行、离线开发线上模式运行时,通过Azkaban获取执行任务的账号信息,使用任务执行账号所映射的源系统账号
-
数据传输(v2.6.2) 新增 数据源类型为SQLServer时,新增支持版本:SQL Server 2008。 2022.08 数据源SQLServer
新增 数据来源为SQLServer时,数据过滤-流水型支持选用timestamp字段作为增量标识字段。 数据源SQLServer
新增 浮框无效的异常报错限制最大长度为500个字符。 -
6 数据资产(v2.1.3) 新增 “有数报表分析”功能通用化。之前有数报表分析只对接了云音乐的域,当前版本变为了通用化方案,可对接传媒、严选等业务线。(默认不开启) 2022.08 -
新增 健康诊断增加价值资产分。 健康诊断
新增 健康诊断增加规范资产分。在价值资产分相同位置,增加规范相关内容。 健康诊断
新增 兼容性改造。
若没有有数BI、数据服务API和指标系统产品,健康分去掉价值健康分
若没有模型设计中心,健康诊断中去掉规范健康分
关于分数计算,若没有有数BI、数据服务API和指标系统,默认价值和规范不扣分
健康诊断
新增 资产健康分构成指标增加说明。 健康诊断
优化 资产页面图标空态处理。 -
优化 生命周期删除方案优化,支持删除大分区表。 -
数据资产(v2.1.4) 新增 表备份功能增加累计预估备份表的费用,列表中针对每张表备份费用给出预估。操作列增加设置冷备的表快速进行任务运维中心查看任务详情,也可快速进入备份空间查看备份的详情内容。表头增加预估备份费用的选择,默认展示。 2022.08 数据备份
新增 目录备份功能:
1.展示累计备份目录数据量和预估备份目录总费用的数值展示
2.列表中展示备份目录、目的地目录、目录冷备存储量和预估冷备费用等字段内容
3.操作栏支持启动、编辑、快速进入任务运维和备份空间入口
4.任务状态,针对全量备份,增加已完成状态
5.新增目录备份功能改版,任务名称系统默认生成,支持根据模板设置需要备份的数据,若不选择模板,则根据目录修改时间和天数进行备份
6.基于设置的备份条件,系统支持检测需要备份的内容,确认后才会真正创建备份任务
数据备份
新增 备份空间:
1.展示累计备份数据量、费用和备份数据空间占比信息,仅统计通过平台设置表和目录备份功能迁移的数据
2.支持备份数据量和费用趋势图展示
3.备份目录支持快速复制,列表展示备份目录名称、文件大小和修改时间等基本信息
4.非根目录下,支持快速返回上一级操作
数据备份
新增 域名统一规范,子产品的邮件/popo/短信通知中的跳转链接更换为新的easydata域名。 -
新增 计算分析中,节点下载支持任务负责人字段。 -
优化 多备份功能优化:比如目录A已经备份过了,在1号修改了目录A,在2号又修改了目录A,冷备会对目录额外有两次备份,导致备份版本较多;当前版本会根据修改时间保存最新的备份,对历史数据进行删除。 -
优化 列表展示优化,表名太长的话,最多展示两行,尽可能展示多的表名信息。 -
数据资产(v2.1.5) 新增 健康诊断中支持质量健康分,包括项目组、项目和个人总览下:
1.项目组总览、我的总览和项目总览下,资产健康分增加质量健康分,历史趋势中增加质量健康分
2.项目总览下,待治理负责人排行榜增加质量维度,支持数据跳转
3.项目总览下,健康分待治理项增加质量维度,包含近7天表质量分均低于80和近7天监控任务实例存在异常或失败两条规则,支持查看详情和下载
4.个人总览下,健康分待治理项也增加质量维度,默认显示当前用户待治理项
2022.08 健康诊断
新增 健康分规则说明和治理项优化建议中增加质量相关内容,供使用者参考。 健康诊断
新增 推荐下线表中,对于已下线且进入灰度空间的表,提供一键恢复功能。 推荐下线表
优化 推荐下线表,下线失败表清单由个人视角更新为项目视角,可以查看当前项目下所有的下线失败表清单列表。 -
优化 备份空间路径优化,可点击路径显示蓝色,可直接点击跳转。 -
优化 数据冷备任务取消心跳超时检测,避免大文件冷备失败。 -
优化 数据冷备任务支持前往新版任务运维中心。 数据备份
优化 服务日志回滚指标支持动态配置。 -
优化 有数报表获取下线指标接口性能优化。 -
优化 大分区表生命周期治理优化,支持服务升级重启情况下未处理完的分区持续删除。 -
优化 大分区表自动下线流程优化,仅记录最近分区DDL, 避免插入数据量过大导致MySQL服务拒绝。 -
优化 资产数仓任务节点 da_ads_tbldiagnosis_1d 性能优化,避免使用SELECT *。 -
7 离线开发(v6.5.3) 新增 离线开发编辑调度放开“完成超时”。离线开发任务,新增任务的完成超时报警功能。完成超时,指任务从计划执行时间开始计时,多久之后还没有运行成功的实例。超过该时间后,即会发送报警。 2022.08 编辑报警
新增 新增yarn队列相关接口,包括:所有队列列表、用户有权限的队列列表API、用户队列授权增加API、用户队列授权删除API。 -
优化 离线开发增加逻辑控制:已配置节点依赖的任务节点禁止重命名。 -
优化 调整导航样式,并将安全中心从右上角移入到统一菜单中其中导航数据,也从原本的mammut服务,迁移到了控制台。 -
优化 子产品独立域名全部跳转到easydata域名。 -

6.5.0 Update 0.7

编号 产品模块 特性 功能描述 时间 产品文档
1 数据地图(v2.1.0) 新增 支持自定义目录。目录配置模块支持自定义数据的归属目录,包括标准目录、自定义目录2种。 2022.07 目录管理
新增 采集任务支持设置表的归属目录。创建采集任务时,可以设置采集后的表自动归属的目录,方便用户在采集完成后快速找到表。 元数据采集
新增 元数据注册信息支持自动生成DDL。对于增量元数据注册,此时还没有物理表时,系统可以根据元数据注册信息中的表、字段信息自动拼接生成DDL,方便用户查看DDL结构并复制后用于物理建模。若已存在物理表的元数据,则查看DDL从数据库实时获取。 元数据注册
新增 元数据列表增加已确权、已存在物理表的标识。 元数据注册
优化 字段血缘性能优化。 -
优化 表名信息为空无法扫描技术信息,相关提示信息优化。 -
优化 表的读写记录和DDL变更记录保留近3个月,时间筛选范围优化。 -
2 指标系统(v2.4.1) 新增 支持我的数据模块。将用户收藏的、订阅的以及浏览记录统一展示,支持用户批量取消收藏和订阅。 2022.07 我的数据
新增 指标治理工单支持转办。对于指标治理工单,提交到流协后,支持对改工单进行转办。 指标治理
新增 指标提交工单支持配置审核人列表或指定审核人。 审批设置
优化 衍生词审批切换到新的流协系统里。统一指标审批的渠道,指标工单及衍生词工单都对接到新流协。 新流协
优化 指标对接安全中心操作审计类型调整。为了对接项目组级别权限,对操作类型进行了统一,因此需要进行调整。 -
优化 指标详情需要按照字段属性权限进行过滤。 -
3 元数据中心(v5.0.1) 新增 元数据治理模块sourceType类型改为sourceTypeSign,不包括长度和精度。 2022.07 -
新增 采集数据的时候,相同数据源类型,相同db,相同table,采集表报错,采集任务不会报错。 -
新增 提供修改sourceType接口,供东证发版的时候使用。 -
新增 元数据注册信息自动生成DDL。 -
新增 开放StarRocks数据源。 -
元数据中心(v5.0.5) 新增 SQLserver2008版本适配。 2022.07 -
新增 新增元数据暂存功能。 -
4 数据标准(v1.4.0) 新增 支持按照标准类型比对发布的版本差异。支持用户对数据元或数据标准发布之前,查看版本比对,比对差异;以及对比历史版本查看发布变化。 2022.07 标准发布
新增 支持对单个数据元进行版本比对。 查看数据元
新增 支持对单个标准字典进行版本比对。 版本比对
新增 词根支持以词根中文作为主体。 词根管理
新增 词根导入支持对已存在词根进行修改。 词根管理
优化 词根导入限额从1000提升到5000。 词根管理
优化 添加数据元时支持跳转添加数据字典。 -
优化 数据元内部标识符改为落库生成。之前由前端生成,每刷新一次都会重新生成,本版本进行调整,落库时再生成。 -
优化 完善版本号的管理机制,用户能自定义设置。用户对已发布或废止的数据元及数据字典进行编辑时,系统会自动生成版本号,用户可自行编辑版本号,但用户填写的版本号需大于最新版本且需满足x.x.x的格式。 标准发布
优化 数据项分类改为不允许点击取消选中。 -
5 模型涉及中心(v1.3.0) 新增 模型建表支持关联一级主题域且支持取消选择到末级主题域限制。 2022.07 主题域选择规范配置
新增 模型扩展信息配置支持枚举多选需求。之前模型的扩展属性仅支持枚举单选,现支持多选可对一张表同时打上多个标签。 扩展信息配置
新增 模型设计中心对接安全中心操作审计。 -
新增 模型设计中心对接控制台统一邮件、popo文案。 -
优化 当账号有项目但是没有数仓开发等角色时提示界面优化。区分用户是无项目还是无角色两种情况,无项目则提示加入项目,无角色提示用户申请角色权限。 -

6.5.0 Update 0.6

编号 产品模块 特性 功能描述 时间 产品文档
1 元数据中心(v4.10.0) 新增 元数据治理模块sourceType类型改为sourceTypeSign,不包括长度和精度。 2022.06 -
新增 采集数据的时候,当遇到相同数据源类型、相同数据库、相同表情况,采集表报错,采集任务不会报错。 -
新增 提供修改sourceType接口。 -
2 数据标准(v1.3.1) 新增 支持资源目录openapi。 2022.06 -
新增 前端支持了主应用域名跳转,强制跳转到统一域名。 -
3 指标系统(v2.4.0.2) 新增 支持取消申请注册流程。 2022.06 治理配置
新增 指标详情openAPI按照新的详情信息调整。 -
优化 支持关闭衍生原子指标类型时,隐藏衍生词管理以及未提交工单。 -
优化 统一资源目录名称,与数据标准、数据地图、标签画像保持一致。 -
优化 增加自定义字段:数据质量分,用户可根据自己需要给指标打上质量分,目前没有质量判断依据,增加此字段为了满足资产统一接口的一致性。 -
优化 从模型设计中心同步过来的平台审批人未能加入到指标发布的审核人列表中优化。 -
4 数据地图(v2.0.0) 新增 元数据确权审批完成后,更新主管部门信息。 2022.06 元数据确权
优化 元数据扫描字段类型时,长度信息分开展示。原来在扫描字段类型时,会把字段长度一并扫描出来,但预期效果是字段长度扫描结果应该显示在字段长度信息了。 -
优化 安全等级推荐结果为null时,提示文案优化。 -
优化 元数据注册时,表的中文名称校验格式放开,允许支持反斜杠等特殊字符。 -
优化 OpenAPI优化,表搜索返回列表增加字段信息包括表安全等级、数据质量分、表中文名称、目录等。 -

6.5.0 Update 0.4(0.5)

编号 产品模块 特性 功能描述 时间 产品文档
1 控制台(v1.2.4.1) 新增 支持登记逻辑数据源。 2022.06 逻辑数据源
新增 数据源登记增加使用授权。 数据源登记
新增 数据源登记增加数据源标识 数据源登记
新增 Hive数据源登记增加版本:1.1.0-CDH5.14.0。 数据源Hive
优化 测试连接按钮从更多中露出。 -
优化 控制台消息通知跳转链接更新为easydata域名。 -
优化 Kafka数据源登记增加认证模式:SASL认证。 数据源Kafka
优化 数据源为PostgreSQL或greenplum时,schema的问号hover文案和输入框提示文案修改。 数据源Greenplum
优化 数据源的编辑、删除和测试连接权限收口。 数据源登记
优化 Redis数据源登记集群部署模式新增single模式和sentinel模式,用于实时计算。 数据源Redis
2 元数据中心(v4.8.0) 新增 新增Hive登记版本:1.1.0-CDH5.14.0。 2022.06 数据源Hive
新增 数据源支持公开使用授权。 -
新增 支持逻辑数据源的登记、查询和挂载物理数据源。 数据源登记
新增 支持sqlserver2017版本适配。 数据源SQL Server
新增 数据源增加“数据源标识”,对标catalog。 数据源登记
新增 定时任务同步ES索引对没开启源系统账号映射的oracle只查询当前schema。 -
新增 /metahub/api/v2/table/search/datamap接口支持指定字段返回,来减少es的请求量。 -
新增 支持MySQL/Oracle/SQLServer库名表名正则匹配。 数据源MySQL
新增 支持有sasl认证的kafka登记。 数据源Kafka
新增 服务日志支持滚动配置。 -
3 数据传输(v2.6.0.1) 新增 MySQL、Oracle、SQLServer支持按照逻辑数据源模式匹配库表,用于同构异ip数据源批量抽取。 2022.06 数据源MySQL
新增 支持读取版本号为1.1.0-CDH5.14.0的CDH Hive。 数据源Hive
优化 接入数据源的读写功能权限。 数据源登记
优化 批量创建任务生成Hive分区表时支持选择分区字段类型。 -
优化 支持识别嵌套Azkaban参数的参数组参数。 -
优化 logback和fastjson安全漏洞修复。 -
优化 增加高级参数指定数据来源为FTP、校验文件记录的数据行数值为0时任务报错。 -
4 安全中心(v3.7.1) 新增 安全中心将各页面抽象成6个功能模块,做成部署时的配置项,与原有rangerEnable、admin开关并存。 2022.06 -
5 流程协作与通知中心(v1.2.2.5) 新增 支持实时计算平台任务发布接入旧版流程协作与通知中心。 2022.06 新流协

6.5.0 Update 0.3

编号 产品模块 特性 功能描述 时间 产品文档
1 数据标准(v1.3.0) 新增 数据标准对接安全中心项目组级角色权限。 2022.05 数据标准
新增 支持资源目录配置管理,对接表、指标、标签等资产。 资源目录
新增 支持词根批量导入导出。 批量导入、导出
新增 数据标准对接安全中心审计。 操作审计
新增 数据项分类支持多级分类值(原先只支持一级分类值)。 -
新增 数据标准对接新流程引擎(新流程协作与通知中心)。 -
新增 数据标准对接安全中心敏感类型、安全等级。 规则配置
新增 支持接入第三方API词根翻译接口(目前仅支持POST请求且入参出参格式有限定,具体格式参考参数示例和响应示例)。 非标准功能,需特定配置
新增 数据元及数据字典支持英文全称字段,支持通过词根进行翻译 -
优化 有项目的用户登录后,不再展示申请加入项目页面 -
优化 项目组负责人、项目组管理员默认具有数据标准相关的所有权限 -
2 数据质量中心(v2.0.0) 新增 规则模板模块由监控列表页面移出,作为单独子页面。 2022.05 规则模板
新增 新建规则模板功能升级,支持配置表级模板、支持灵活配置比较周期(支持自定义采样方式、计算规则、基准值)。 规则模板
新增 内置规则模板全新改造扩充,共43条系统级模板规则。 规则模板
新增 新建监控 - 新建自定义规则基准值支持周期配置。 -
新增 质量中心打通数据标准,根据数据标准自动生成质量规则。(前提:当前字段已和数据标准中的数据元进行关联,在模型设计中心新建表添加字段时可关联数据元) 监控任务创建流程
优化 监控任务新建规则优化,支持对一个字段配置多条监控规则。 -
优化 新建模板规则展示规则模板的采样方式、计算规则、基准值。 监控任务创建流程
优化 新建自定义规则展示规则模板的采样方式、计算规则、基准值。 监控任务创建流程
优化 执行实例 - 运行结果、质量报告 - 异常规则明细展示优化,运行结果展示每条规则的采样结果和期望范围信息。 质量报告详情
优化 执行趋势展示优化:
1. 执行趋势分为模板规则检测、自定义规则检测、标准推荐规则检查。
2. 当鼠标悬停在图表某个日期展示当天最后一次调度的详细结果。
执行实例
优化 dqcClient容器化改造支持,dqcClient不再需要暴露端口,dqcClient支持 DQC_CLIENT_HOME 参数。 -
优化 数据质量中心对数据资产提供接口,用户计算资产质量健康分。 -
优化 当用户没有采购数据标准和模型设计中心时,标准推荐规则等相关功能将被隐藏。 -
优化 固定值模板规则阈值支持最多4位小数。 -
优化 规则模板期望范围支持负数阈值。 -
优化 唯一性规则和表唯一性规则SQL优化,避免kudu等实时写入表探查异常。 -
数据质量中心(v2.1.0) 新增 数据质量中心支持Oracle数据源(11.2.0.4,19c)。 2022.05 质量大屏
新增 支持监控任务批量导入导出,适用于相同环境及不同环境间的监控任务批量导入导出情况。 监控任务批量导入、导出
新增 支持监控任务批量移交负责人,适用于原监控负责人离职转岗场景,仅管理员、负责人可以进行批量移交负责人操作。 移交负责人
新增 数据质量中心对接元数据。 注册元数据关联质量中心
优化 试跑功能优化,试跑时分区禁止编辑分区值。 -
优化 数据质量对自定义sql的解析支持sparksql语法。 -
优化 唯一性校验支持多字段组合后的唯一性校验。 -
优化 数据质量新增openAPI:支持查询执行实例列表、查询执行实例运行结果、查询今日表质量分排行。 -
3 安全中心(v3.5.1-3.6.0) 新增 安全中心支持配置安全等级定义、根据敏感类型发现安全等级,用于以后权限申请时审批链路配置、审计告警配置、白名单配置。 2022.05 安全等级
新增 数据识别功能识别后,会根据已配置的安全等级对识别的内容进行标记。 数据识别
新增 安全中心支持动态脱敏。 数据脱敏
新增 在数据脱敏-动态脱敏中支持手动对指定字段进行脱敏。 数据脱敏
新增 权限配置页面支持白名单配置,白名单主要应用于数据脱敏场景,添加至白名单的用户或角色,将不受脱敏影响,可直接看到字段明文。 白名单
安全中心(v3.6.1) 新增 在数据保护-脱敏规则中,脱敏规则配置支持选择自定义UDF。 2022.05 非产品功能最终形态,使用时请参考功能提示。
新增 权限申请页面,他人账号支持多选。 -
新增 数据脱敏算法支持SM3算法。 脱敏算法
新增 权限配置页面中,安全接口人支持勾选多个用户。 -
新增 在权限配置-白名单页面中,默认添加项目账号至脱敏白名单中。该功能主要是避免使用项目账号运行线上调度任务时因为项目账号不在白名单中影响线上调度任务的情况。 白名单配置
优化 数据识别-识别结果页面,增加文案说明:非string类型字段不支持动态脱敏。列表增加字段类型展示。 -
优化 安全等级、敏感类型、脱敏规则不区分集群,配置后全项目范围内生效。 -
安全中心(v3.6.2) 优化 数据识别功能整体优化:
1. 新增识别任务配置过程中,“敏感类型”项取消配置脱敏后,不需要重新选择下方敏感类型 。
2. 识别结果的筛选条件“ 只看脱敏规则有变化结果 ”选择后立即生效 。
3. 数据识别配置脱敏时,同一个敏感类型只能配置一个脱敏规则。
4. 数据识别任务单表扫描行数上限为10W行。
2022.05 数据识别
优化 权限申请页面视觉优化。 -
优化 安全中心菜单结构改造。 -
安全中心(v3.7.0) 新增 新增项目组角色/成员管理(项目级别的角色/成员管理将在后续版本迁入安全中心)。 2022.05 角色管理
新增 项目组角色支持增删改查操作,内置负责人、管理员、数据治理专员、数据治理管理员4个角色。 角色管理
新增 项目组角色下的成员支持增删改查。(项目组负责人下的成员不支持)。 角色管理
新增 新增项目组下成员的增删改查。 角色管理
新增 新增项目组角色/成员、项目角色/成员配置功能权限。 角色管理
优化 权限申请工单(申请表、 申请库 、申请续权)对接新版流协。 -
4 指标系统(v2.4.0) 新增 支持指标治理流程配置,系统开启申请注册、申请发布、申请下线流程,用户可自定义选择是否开启申请确权、申请变更安全等级、申请治理流程。 2022.05 治理配置
新增 指标自定义模板改造(支持字段分组、新增系统字段、修改指标生成方式)。 自定义指标模板
新增 指标域支持多级,支持同步标准目录,支持自定义目录;用户添加指标时可选择数据目录归属。 目录管理
新增 指标列表支持版本、状态、临时草稿等,支持数据治理流程操作。 指标字典
新增 支持版本记录、版本比对、操作历史。增加版本记录页签,查看版本记录更便捷清晰,支持拉取不同版本进行版本比对,查看版本差异;增加操作历史页签,对当前指标的操作都将记录在这里。 指标字典
新增 支持收藏及订阅,订阅后指标发布及下线将收到邮件通知(已对接统一邮件模板)。 指标收藏与订阅
新增 支持对接安全中心审计。支持对指标进行操作审计,将操作记录同步至安全中心。 指标系统操作审计
5 流程协作中心(v1.2.2.4) 新增 流程协作中心新增跳转新流程协作中心(简称:新流协)功能。 2022.05 新流协
流程协作中心(v2.0.0) 新增 新流协支持子产品注册功能,需要填写:产品编码、产品名称、产品说明、产品归属和产品管理员。其中产品管理员可以多选。 2022.05 新流协
新增 新流协后端预置流程管理员功能,负责新流协的日常运维。 新流协
新增 新流协提供流程模板可视化绘制功能,当前仅流程管理员与子产品管理员有权限使用。 新流协
新增 新流协提供管理员视角的流程实例管理功能。 新流协
新增 新流协-待我处理提供当前登录用户的审批功能,支持同意、终止、转签操作,支持查看审批详情。 新流协
新增 新流协-我已处理提供当前用户已经处理过的流程实例功能,并支持撤回操作。 新流协
新增 新流协-我的发起展示当前用户发起的流程实例,并支持撤销申请操作。 新流协
流程协作中心(v2.0.1) 新增 流程协作中心对接子产品,提供了元数据管理、标签、安全、标准和指标等5个子产品的接入功能,一共创建22个流程模板(内置模板不允许编辑、删除)。 2022.05 新流协
新增 新增安全中心权限授予异步调度能力和状态异步展示。 -
6 离线开发(v6.5.1.2) 新增 新增OpenApi: 查询任务列表接口、离线开发的开发模式任务立即运行接口、查询离线开发的立即运行实例运行状态接口、终止离线开发的立即运行实例的接口。 2022.05 -
离线开发(v6.5.1) 新增 离线开发和自助分析运行oracle时支持存储过程运行。 2022.05 -
新增 离线开发和自助分析用spark引擎运行时支持hint语法。 hint语法
离线开发(v6.5.2) 新增 项目中心 - 队列授权支持yarn队列给角色授权。 2022.05 队列权限
新增 离线开发/自助分析增加HQL和Vertica等外部数据源的库表列提醒功能。 -
新增 新增日期转换函数azkaban_date_modify。 调度日历时间参数
优化 离线开发中已调度任务再次编辑调度依赖时,优化“同周期依赖”开关逻辑。 同周期依赖
优化 离线开发支持配置Oracle类型的数据质量监任务。 -
优化 自助分析右侧边数据源下的MySQL、Vertica表增加“查看表详情”跳转数据地图的功能。 -
优化 平台用户数据迁移到控制台,项目组负责人数据改为从安全中心获取 。 -
优化 离线开发/自助分析数据源展示调整,包括离线开发的VerticaSQL节点,左侧支持数据源展示;自助分析右侧数据源,调整为仅能查看自己有安全中心的读或写权限的数据源。 -
优化 离线开发SQL节点使用Spark引擎执行时Spark日志中增加了SQL语句打印。 -
优化 自助分析针对无查询结果或结果太大等异常时,提示语居中改为居左。原先列数量过多时,提示语因居中显示被遮挡,现改为居左展示。 -
7 控制台(v1.2.3) 新增 新增“通知模板管理”模块提供EasyData全产品的邮件主题、logo的定义能力,当前仅接入离线开发的邮件和文本通知,后续子产品陆续接入。 2022.05 -
优化 Kafka数据源登记配置项修改。 数据源Kafka
8 模型涉及中心(v1.2.8) 新增 模型设计中心支持Oracle数据源。 2022.05 模型设计中心
新增 工单管理 - 修改表支持修改字段的扩展属性。 表设计工单管理
新增 与数据标准对接,新建表及修改表时支持给字段绑定数据元及标准字典,支持数据元名称辅助生成字段名称。 表设计工单管理
新增 Hive表建模支持字段复杂类型(map、array、struct)。 -
优化 修改表工单支持记录及展示DDL语句。 表设计工单管理
优化 表单模式字段描述项较多,增加区块导引,帮助用户快速定位到对应区域。 表设计工单管理
优化 修改邮件里的通知链接为统一域名easydata。 -
优化 字段名称支持根据数据源类型区分大小写要求(如oracle大写,hive为小写)。 -
优化 增加平台管理员可直接使用模型设计中心。 -
模型涉及中心(v1.2.9) 新增 模型设计中心支持模型批量导出及相关属性共同导出功能。 2022.05 批量导出
优化 统一批量导入入口,修改按钮样式。 批量导入
优化 未加入任何项目的用户退出登录后,登录另一个已加入项目的用户,不再展示申请加入项目页面。 -
9 任务运维中心(v1.4.0) 新增 实例支持置成功。 2022.05 实例置成功
新增 实例支持批量重跑和批量停止,方便多个任务实例失败时能一键批量重跑。 实例重跑
新增 补数据时,支持下游任务可以选择具体需要补数据的节点。 补数据实例运维
新增 基线运维详情页,新增基线历史完成曲线。新增基线历史完成曲线,可以直观的了解该基线最近一段时间多少天预警、多少天破线,方便运维和开发及时对基线进行治理。 基线运维
新增 支持设置值班规则,系统批量设置值班人。新增值班规则,可根据规则自动生成人员排班表。且系统会根据人员变动,自动补齐排班。解决目前每天都需要人工排班的困扰。 值班组管理
新增 新增项目组运维大盘,了解所有项目整体的任务运行情况,包括今日执行橄榄、今日任务完成情况、周期实例耗时排行Top10、调度延迟排行Top10。 项目组运维大盘
新增 新增项目组报警历史,可在报警历史页面查看项目组报警历史。 报警历史
优化 补数据任务日期可以升降序设置。 -
优化 队列增加CPU、内存信息。 -
优化 实例列表页、详情页的任务名称加上超链接。 -
优化 任务详情页默认显示“执行历史”页签页面。 -
优化 补数据并发数不算失败的实例。 -
优化 任务血缘性能优化。解决当任务上下游非常多时,同时展开上下游6层,任务血缘DAG图会接口超时的问题。 -
优化 Azkaban表同步优化。解决由于机器时间问题引起的底层表数据同步问题。 -
任务运维中心(v1.4.1) 新增 新增OpenAPI:支持创建补数据任务、查询补数据任务详情的OpenAPI、支持实例重跑、终止、查询的OpenAPI、支持报警规则创建、删除的OpenAPI。 2022.05 -
10 数据地图(v1.7.0) 新增 查看表的数据血缘时,可以查看上游依赖的表,哪个产出最晚、哪个产出最慢。 2022.05 数据血缘
数据地图(v1.8.0) 新增 新增“物理视图”模块,项目成员均可查看当前项目集群下的hive库列表、表列表,方便用户查看本项目下的库表信息。 2022.05 物理视图
新增 和数据标准产品打通,支持展示Hive、Oracle、Greenplum、MySQL、Vertica表字段关联的数据标准信息,包括数据元、数据字典信息。 -
新增 支持展示Oracle表的更多属性信息,包括主题域、表分层、标准化标签(维度和指标)、主键等。 -
新增 数仓表导引,增加Oracle类型表的搜索和展示。 数仓表导引
新增 Hive表详情页操作按钮优化,当没有表权限时可直接点击“申请数据权限”进入安全中心申请页。 Hive表
数据地图(v1.9.0) 新增 元数据注册时,支持和数据质量、数据标准、数据安全、模型设计中心、指标系统、标签画像等子产品联动,用户可以在注册页面补充业务信息、技术信息等,包括主题域、表分层、数据质量规则模板、关联指标、关联标签、字段安全等级、字段引用的标准等等。 2022.05 元数据注册
新增 元数据注册时,支持字段安全等级、字段物理名称自动推荐。字段的安全等级自动推荐方式支持从安全中心获取、调用第三方NLP接口,字段物理名称推荐支持调用第三方NLP接口。 元数据注册
新增 元数据支持申请确权、申请变更安全等级、申请治理、申请发布、申请下线。所有工单的申请审批流程与流程协作中心打通,可同意、拒绝、转办工单。在审批工单时,支持跳转查看元数据详情页。 元数据治理流程
新增 支持元数据批量导出,单次导出限制最多100张表,导出内容包括表和字段的信息。 元数据注册
新增 支持元数据版本管理,可查看版本列表、版本详情、版本对比。 元数据注册
新增 支持元数据采集,包括采集任务创建,采集实例监控。 元数据采集
新增 支持资产目录配置,资产目录展示。资产目录在配置管理模块中设置,可引用数据标准的资产目录结构。 资产目录
新增 数据查询支持全局检索,从原来的单类型搜索改为全局搜索,用户输入关键字搜索,可一次性查询各类资产的返回结果数。 -
新增 数据查询类型新增标签,此外查询结果中,表、指标、标签支持按“资产目录”进行筛选。 -
新增 Hive、Oracle、MySQL表详情页,新增版本管理、申请治理、申请下线、订阅通知的功能。经过元数据治理且发布的Hive、Oracle、MySQL表,可展示更加完善的业务信息、技术信息。 -
新增 新增“我的数据”模块,可查看个人已收藏的表/指标/标签和已订阅的表/指标/标签。 我的数据
新增 新增对接安全中心操作审计功能,用户在数据地图上的相关操作可在安全中心操作审计中查看,审计内容包括操作人、操作时间、操作对象等。 操作审计
新增 新增功能权限授权,对接安全中心角色管理和功能授权模块。已授权的角色或人员具备数据地图相关功能的操作权限。 -
新增 配置管理中,表和字段注册模板新增规则,字段安全等级可设置是否从安全中心调用、第三方NLP接口推荐,字段物理名称支持设置是否使用第三方NLP接口推荐。 -
新增 数据地图访问权限放开,去掉必须项目人员才可访问的限制。只要登录到平台的用户并添加到项目组(租户)中,即可访问数据地图。添加新用户到项目组(租户)中,可在“安全中心-角色管理-项目组级”人员管理中添加即可。 -
新增 新增OpenAPI:根据资产名称搜索资产列表的OpenAPI;根据资产类型,查询对应目录下的资产列表的OpenAPI;根据资产id,查询资产详情的OpenAPI,资产详情包括元数据基础描述信息、字段信息、数据预览、DDL记录、读写记录等。 -
11 元数据中心(v4.6.0) 新增 新增元数据采集。 2022.05 元数据采集
新增 新增元数据扫描。 元数据注册
新增 新增元数据多版本管理。 元数据注册
新增 元数据注册新增资产目录,主题域,分层,字段增加标准字典,原始字典,数据质量信息。 元数据注册
新增 vertica字段补充Precision信息。 -
12 数据传输(v2.5.1) 新增 当数据来源表(仅限关系型数据库)新增字段时,支持配置来源表结构变化策略。 2022.05 来源表结构变化
新增 支持批量转换来源表字段的数据类型。 配置字段映射
新增 开放10种数据源类型的创建任务的OpenAPI。当数据来源或去向为以下数据源类型:mysql、sqlserver、oracle、tidb、pg、hive、doris、es、hbase、GP时,支持使用OpenAPI创建任务。创建的任务可在数据传输任务列表维护。 -
优化 数据传输读写SQLServer适配2000SP4版本。 数据源SQL Server
优化 数据来源数据源类型为:Hive、MySQL、Oracle、Vertica时,写入Vertica的写入规则支持选择Copy。 数据源Vertica
优化 数据来源为ES时,支持选择字段名称并展示字段类型;数据去向为ES时,支持展示字段名称和字段类型。 数据源ES
优化 数据来源或去向为ES时,Index-Type新增提示文案:ES 7.0以下版本,Type为必填项;ES 7.0及以上版本,Type可不填。 数据源ES

6.5.0 Update 0.2

该补丁仅修复BUG,无其它功能更新。

6.5.0 Update 0.1

编号 产品模块 特性 功能描述 时间 产品文档
1 数据传输(v2.4.1) 新增 离线同步任务新建任务时,数据来源为FTP,文件格式为:csv、txt、dbf时增加原始字符集选项。 2022.04 FTP读取方式
新增 离线同步任务新建任务时,数据去向为Greenplum时,支持Presql和PostSql。
(说明:a. 最多允许执行五条SQL语句,字符最大长度为2000个字符。
b. 如果Greenplum表是通过快速创建表生成的,则在首次运行任务时PreSql无效)
Greenplum数据去向
数据传输(v2.4.2) 新增 数据来源为FTP时新增文件格式:csv,支持读取del文件等符合csv转义规范的文件。原csv格式命名改为“csv(旧)”,读取csv文件格式时建议选用文件格式:csv。(功能补充说明:csv支持更加规范的csv格式,因此包含csv(旧),当前两者并存的主要原因是考虑到历史用户使用问题,后续会对csv(旧)进行迁移并下线) 2022.05 FTP读取方式
优化 离线同步任务,当时数据来源为FTP时,文件格式为:csv、txt、excel、csv(旧)时,跳过行数为必填项。 FTP读取方式
优化 离线同步任务,当数据去向为Doris,Presql和Postsql由支持单条SQL语句改为支持5条SQL语句。(说明:多条SQL语句间以分号分隔) Doris作为数据去向
数据传输(v2.5.0) 新增 离线同步任务新建任务支持读写Teradata数据源。(支持版本:16.20.25.00) 2022.05 Teradata
新增 离线同步任务新建任务支持读写StarRocks数据源。(支持版本:1.19) StarRocks
优化 开启数据沙箱功能且用户选择Hive测试库时,离线同步任务模块和数据导入模块根据选择是否是Hive测试库返回生产队列/测试队列。(涉及离线同步任务-运行页面以及数据导入/导入本地数据配置页面) -
优化 Hive2Doris/Hive2Starrocks支持复杂类型转换。数据来源端字段类型为:map、array类型时,支持转为json写入去向端。 复杂类型转换
优化 优化登录处理逻辑:
1.用户使用无项目的账号登录时,提示未参与任何项目;若退出切换为有项目的账号,则成功登录并跳转到默认页。
2.用户使用有项目的账号访问无权限的项目时,提示无项目权限并提供申请权限的入口;申请权限后,刷新页面跳转回默认页。
-
2 控制台(v1.2.1) 新增 支持登记Teradata数据源(支持版本16.20.25.00)。 2022.05 -
新增 支持登记StarRocks数据源(支持版本1.19)。 -
优化 数据源为GreenPlum时,schema由必填项改为选填项。如果填写schema,可使用登记数据库中该schema下所有用户账号有权限的表;如果未填写schema,可使用登记数据库中所有schema下用户账号有权限的表。 Greenplum数据源登记
优化 数据源为PostgreSQL时,schema由必填项改为选填项。如果填写schema,可使用登记数据库中该schema下所有用户账号有权限的表;如果未填写schema,可使用登记数据库中所有schema下用户账号有权限的表。 PostgreSQL数据源登记
优化 数据源引用详情跳转变为跳转easydata域名。 -
3 元数据中心(v4.4.0) 新增 新增teredata数据源类型,支持连接测试、库表列获取功能,可用于数据传输读写teredata数据源。 2022.04 -
新增 Oracle表详情支持查看主键信息、唯一键信息、非空信息。 -
新增 Oracle8表详情支持查看主键信息、唯一键信息、非空信息。 -
新增 支持ES7及以上版本的表详情查询支持。 -
新增 增加根据项目名称查询数据源列表的接口。 -
新增 vertica静态血缘解析支持跨DB。 -
新增 sloth流表搜索接口支持前缀搜索。 -
新增 mysql表字段类型获取支持从schema_info系统表中直接获取,保证与create table展示一致。 -
新增 mysql8表字段类型获取支持从schema_info系统表中直接获取,保证与create table展示一致。 -
元数据中心(v4.4.5) 新增 支持StarRocks数据源登记,库表列元数据获取,用于数据传输任务可以读写StarRocks数据。 2022.04 Starrocks

6.5.0

编号 产品模块 特性 功能描述 时间 产品文档
1 指标系统(v2.2.9) 新增 指标系统对接安全中心,在安全中心管理的功能权限,包括指标字典、修饰词管理、衍生词管理以及字段属性,即对于指标字段中的字段内容,也可以通过安全中心赋权是否可查看的权限。 2022.02 指标系统权限设置
新增 解除对平台”指标审批者”角色的依赖,新增在新建二级指标域时需配置指标审批者。原先指标审批者的角色由系统预置,所属该角色的用户有指标及衍生词新建、编辑、上传的审批权限,现可针对不同指标域进行单独设置。 指标审批者
新增 新增衍生词审批者设置,解除对指标审批者角色的依赖,可在项目配置中指定,默认为项目组负责人、数据团队管理者和指标管理者角色。 衍生词审批者
新增 指标字典列表增加关联表数量,包括直接和间接关联表的总数量,支持排序。该字段在指标详情页中默认展示,不受权限控制。 -
新增 自定义指标模板中如果未开启衍生原子指标,则主原子指标默认为原子指标。 指标类型自定义设置
新增 如果平台没有模型设计中心和数据地图两个子产品,则同步数仓域功能不显示,可分析维度下拉中无模型设计中心的维度,指标应用不显示直接关联表和间接关联表,列表中不显示关联表数量。 -
新增 如果未对接有数BI,则指标详情页,有数报表分析不显示。 -
优化 创建或编辑派生指标、复合指标时,修改指标依赖的某些字段,比如时间、修饰词等,指标名称和指标标识均随之变化。 -
指标系统(v2.3.0) 新增 指标系统支持openAPI开放。 2022.03 -
优化 大小写指标域标识转换。在自定义模板中,若开启了指标标识由系统自动生成,默认为一级指标域+二级指标域+自动编码且仅支持小写英文、数字和_。如果指标域通过模型设计中心同步创建,由于模型设计中心的数仓域标识支持大写,创建指标时会报错,需要将模型设计中心的数仓域大写转换为小写字母。 -
2 数据服务(v1.4.7) 优化 SQL模式下,Mybatis动态查询增加特殊字符转义说明。 2022.01 -
优化 事件跟踪中,动作筛选补充API相关,去掉数据抽取等模块。 -
数据服务(v1.4.8) 新增 增加API协助管理者功能,新建API时,可选择项目内成员,权限等同创建人,拥有对API的所有操作权限。 2022.02 -
新增 在SQL模式下,支持将数据字段快捷作为返回填充,可选择快速填充至返回参数列表中。 -
新增 支持GreenPlum数据源类型,在向导或SQL模式下,均支持选择GP数据源构建API。 -
新增 向导模式下新增Clickhouse、Hive和Doris数据源类型。 -
新增 HBase数据源类型,在向导模式下,支持输入Rowkey获取列数据填充至返回参数列表。 -
新增 增加系统参数system_empty_result_not_cache=true,允许用户将获取数据为空的内容不存储在缓存中。 -
新增 API详情页面,增加超时时间信息展示。 -
优化 SQL模式下,启用分页以及order by字段等内容提示完善。 -
优化 API集市和API列表的筛选项支持多选,包括API集合、数据源类型、API类型等内容。 -
优化 交互视觉优化,应用删除按钮保持一致。 -
优化 在API详情页,增加安全中心权限对描述、标签等内容是否有编辑权限的控制。 -
数据服务(v1.4.9) 新增 数据服务openAPI对外开放。 2022.03 -
新增 SQL模式下,选择数据表后,支持直接复制表名,在代码编辑区可快速粘贴。 -
优化 创建API时,在SQL模式下,若不勾选”启用分页”,系统仅返回200条数据,在测试页面增加相关内容提醒。包括:
1. 若API升级且未开启缓存,测试页面增加提示;
2. 在非升级状态且SQL模式下,进入测试页面未开启分页时,增加提醒;
3. 启用分页参数按钮增加说明;
4. 注意事项增加提醒。
-
数据服务(v1.5.0) 新增 新建API时,SQL和向导模式均支持Vertica数据源类型创建API,API列表支持筛选Vertica数据源类型。 2022.03 -
新增 在API集市、申请API中,调用截止时间和调用频次支持自定义。 API集市
新增 数据服务API调用,支持前端跨域请求。 -
新增 域名规范统一,统一为easydata域名。 -
优化 在API集市中,若开启了行列级权限控制,流程协作与通知中心的工单详情页中,增加行列级权限文字显示。 -
优化 在API集市和API详情页,设置调用截止时间时,不可选择当前时间段之前的时间。 -
3 数据测试中心(v1.0.6) 优化 枚举字段探查占比优化,进行百分比计算时,不再四舍五入,保留原有计算结果。 2022.01 -
优化 支持前端性能统计。 -
优化 数据探查、数据比对Spark参数支持默认值填入。 -
4 元数据中心(v4.2.0) 新增 增加OpenAPI:数据源详情获取、数据源列表获取。 2022.03 -
新增 登记Greenplum、PostgreSQL数据源时,支持选填Schema信息。 -
新增 数据源驱动设置为可配,支持mgr驱动更换。 -
新增 table list增加参数用于返回假count数据,便于调用方控制循环。 -
新增 表owner增加开关,并增加字段mammutTableOwner,对外默认开启。开启时,优先从metadata中获取owner,关闭时,优先从serde的owner获取。 -
5 任务运维中心(v1.2.0) 新增 新增任务血缘DAG图。点击查看任务详情,切换到“任务血缘”tab页,可查看任务的上下游血缘,支持血缘范围筛选、血缘层数筛选、缩略导航图引导等。 2022.02 任务血缘
新增 新增任务详情基本信息。在任务列表点击任务详情可进入查看详情页,详情页包括对任务的操作(编辑、补数据、转交任务、设置基线、设置优先级、取消调度等)、任务基本信息、调度信息、节点信息等。 任务详情
新增 任务列表页新增一列“血缘统计信息”,方便用户快速查看每个任务的血缘统计情况。血缘统计信息包括该任务的全部上游数、上游总层数、直接上游数、全部下游数、下游总层数、直接下游数、最近更新时间等。 任务列表
优化 报警规则操作权限优化。原先有权限对报警规则编辑、删除的人默认为项目负责人、管理员、创建人,本次增加了在项目中心-功能权限模块中授权过该功能点的人均有操作权限。 报警规则权限
优化 优化运维大盘中基线完成时间曲线图。例如基线实际是次日02:00完成,以前会展示成当日02:00会造成用户误导,本次优化后会展示成“02:00(+1天)”,更加直观清晰的判断出基线跨日完成的情况。 -
任务运维中心(v1.3.0) 新增 旧版运维中心下线。 2022.04 -
新增 任务详情页,增加执行历史、执行计划,方便用户了解任务的历史执行情况和未来计划执行的实例列表。 执行历史
新增 增加查看节点的执行历史。 任务列表
新增 运维大盘,增加实例耗时排行、调度延迟排行。 运维大盘
新增 补数据新增跨周期自依赖开关、正序/倒序、并发设置、选择队列等功能。 补数据配置
新增 支持任务完成超时告警的功能。例如在离线开发中设置任务计划执行时间为每天09:00,完成超时时间为2h,则当11:00点任务实例未成功,则会触发告警。需后台设置才可使用。 编辑报警
新增 增加旧版任务运维中心的跳转入口。为了能够平稳的过渡到新版任务运维中心,产品上保留旧版的跳转入口,待过渡期结束将去掉旧版跳转入口。目前在任务列表页、任务详情页、实例列表页、实例详情页均有旧版跳转入口供用户查看历史数据。 -
优化 重跑权限优化。原来只有项目负责人和管理员有重跑权限,权限比较固定。现在将重跑权限对接功能授权,只要授权的角色和人员均可操作重跑,使得权限更加灵活可控。 重跑权限
优化 报警发送失败时,增加失败的原因文案。通常发送失败的原因包括:手机号有误、邮箱有误、人员离职等。 报警响应
优化 大盘基线统计接口性能优化。 -
6 数据质量中心(v1.3.1) 新增 新增质量报告,原有的质量排行榜、表质量评分合并为质量报告模块。表质量排行列表展示所有线上调度过的表,并支持跳转到表级质量报告。 2022.03 质量报告
新增 新增表质量报告。 质量报告详情
优化 实例的运行日志页面增加application的跳转链接,跳转至yarn日志。 -
优化 质量大屏图表样式优化。 质量大屏
优化 自定义sql解析优化并增加解析失败提示。 -
优化 监控对象支持选择当前用户有读写权限的数据源。 -
优化 增加参数dqc.partitions.replace作为分区替换的开关,默认情况下为true,可在的set参数中添加。 -
优化 规则模板校验类型更改,统一归为及时性、有效性、准确性、唯一性、完整性、一致性、其他七大类。 -
数据质量中心(v1.3.2) 优化 tableOwner 统一使用元数据中心的mammutTableOwner。 2022.03 -
7 安全中心(v3.4.0) 新增 新增审计日志,审计日志展示项目组的日志,当前子产品只接入安全中心。 2022.02 操作审计
安全中心(v3.5.0) 新增 脱敏管理新增数据识别功能,用于识别指定范围内的敏感字段。 2022.03 数据识别
8 数据资产中心(v2.1.0) 新增 新增健康诊分扫描,计算增加自助分析相关规则。 2022.01 健康诊断
新增 对于未设置生命周期的表,若确实需要将表永久保存,支持加入永久保存的白名单,则健康分扫描时将不会包含白名单中的表。 生命周期永久保存
新增 数据冷备中支持表级别数据冷备。 表级别数据冷备
新增 小文件发现,以Hive表维度,展示分区数、文件数和平均文件大小等内容,对发现小文件提供数据。 小文件发现
数据资产中心(v2.1.1) 新增 新增健康诊断页面,将资产大盘中资产健康分相关内容抽出,单独作为健康诊断的内容。 2022.01 健康诊断
新增 资产大盘增加数据源和任务概况。 资产概况
新增 治理项的优化建议,在健康诊断-待治理项列表,增加针对治理项的优化建议。 治理项优化建议
新增 存储计算增加规则:分区数量大于3W的表。 存储健康分规则
新增 计算分析-调度任务:节点列表增加队列信息、支持下载任务和下载节点功能。 计算分析-调度任务
优化 在生命周期设置中,若表需要永久保存,加入了永久保存的白名单,则在存储健康分扫描中将去掉此类表,且周一上午发送的数据治理邮件通知中,”生命周期管理相关”也会去掉已经加入白名单的表。 -
优化 计算健康分的自助分析比例调整,由原本的40%降低至10%。 -
优化 数据备份列表,交互视觉优化,列表统一。 -
数据资产中心(v2.1.2) 新增 生命周期诊断列表,增加分区数字段,支持排序,便于查询大分区表是否设置生命周期。 2022.01 分区展示
优化 图表等空态处理。 -
新增 资产大盘–资产概况,数据源类型筛选,保持和控制台支持的数据源类型一致。 资产概况
新增 健康诊断,待治理负责人排行,任务数量支持点击并跳转至”健康分待治理项”,作出筛选。 待治理排行榜
新增 存储分析,Hive表详情中,支持快速筛选出表文件是否符合规范的表,对于不符合规范的表,不支持在平台进行下线操作或设置生命周期。 不符合规范表
新增 待治理项,对于离线任务,”任务名称”指的是flow名称;对于自助分析任务,同一个Query实例聚合展示。 -
优化 有数报表分析底层架构优化。 -
优化 生命周期到期删除策略优化,优化获取待删除的分区详情的时间,优化性能提升近40%。 -
优化 冷备功能支持hadoop2.9版本,优先支持表冷备功能。 -
优化 存储分析,推荐下线表和生命周期诊断页面联动优化,拆分为独立页面,筛选条件等互不影响。 -
9 离线开发(v6.4.3) 新增 离线开发支持显示修改记录和版本历史。 2022.03 修改记录与版本历史
新增 离线开发-线上模式-编辑报警,支持配置完成超时。 完成超时规则
优化 微前端升级改造,统一到easydata域名。
1. 本次将所有子产品都升级到了easydata域名,同时导航栏切换时闪烁的问题得到解决。
2. 建议各用户将原本收藏的域名,都改为新的easydata域名,老域名的顶部导航和新域名的不互通。
-
优化 邮件、短信和popo等支持自定义产品名称。当前仅支持后台数据库配置。 -
10 数据传输(v2.3.2) 优化 支持Doris新版Spark Connector。 2022.03 Doris数据源使用说明
数据传输(v2.4.0) 新增 新增数据导入模块,支持导入excel、txt、csv、log格式的本地文件至Hive等20+种数据去向,需配置EasyOps参数开启该功能。 2022.03 数据导入
新增 数据去向为Doris,新增导入方式:broker load,主要适用场景为Hive2doris的大数据量导入场景。 Doris作为数据去向
新增 并发读取支持选择字符型字段作为切分键。 并发设置
优化 数据去向为Hive时,快速建表时支持获取源表表名注释写入建表语句。 -
优化 任务链接对应的任务已删除时,跳转报错页面。 -
11 数据地图(v1.6.0) 新增 支持GreenPlum的浪潮MPP版本,可搜索表、详情展示、数据表血缘查看。 2022.03 Greenplum
新增 支持修改MySQL、Vertica、GreenPlum的表描述、列描述。 -
新增 实时流表血缘支持写入HBase/Kudu的血缘。 实时流表
优化 Hive分区元数据刷新问题修复,包括分区信息中的记录数、存储空间、文件数。 -

6.4.0 Update 0.3

编号 产品模块 特性 功能描述 时间 产品文档
1 数据标准(v1.1.0) 新增 支持词根管理,维护中文、英文、简写对应关系。 2022.02 词根管理
新增 支持数据项分类管理及关联数据元。 数据项分类
新增 支持数据元批量导入。 数据元批量导入
新增 支持数据元按照选择的内容、最新状态或发布版本进行导出。 数据元批量导出
新增 支持数据元添加分类方案。 关系类属性
新增 支持数据字典项批量导入。 添加字典值
新增 支持数据字典按照状态进行标识以及筛选。 字典筛选
新增 支持单个数据字典的码表导出。 字典导出
新增 支持数据字典添加字典英文名。 添加字典
新增 支持数据元及数据字典点击版本记录切换版本查看。 发布历史
新增 支持在发布历史点击发布版本查看发布内容。 发布历史
优化 支持数据元与开发状态数据字典进行关联(之前仅允许发布过后的标准字典进行关联)。 -
优化 支持数据标准制定人及审核人查看一般用户视角(即预览发布后的内容展示情况)。 查看数据元
优化 数据元及数据字典名称和内部标识符支持即时校验。 -
数据标准(v1.2.0) 新增 支持自定义数据元注册模板,用户可对系统内置项的启用及必填配置以及支持用户添加自定义描述项。 2022.03 数据元自定义模板
新增 支持自定义数据字典注册模板,用户可对系统内置项的启用及必填配置以及支持用户添加自定义描述项。 数据字典模板
新增 1. 数据元英文名称支持按中文名称拆字根据词根进行翻译;
2. 数据元拼音支持按中文名称自动生成。
数据元创建
新增 支持数据元及字典的标识符自动生成。 标识类属性
新增 数据元值域新增取值范围类型。 表示类属性
新增 支持与模型对接提供数据元及数据字典接口,模型设计(V1.2.8)时支持绑定数据元及数据字典。 待补充,模型设计中心尚未支持
新增 支持与质量中心对接,提供稽核规则要求。 待补充,质量中心尚未支持
优化 字典添加或编辑是支持字典值必填校验。 -
优化 导航栏名称简化,去除管理字样。 -
优化 一般用户界面提供操作指引。 -
2 数据地图(v1.5.3) 新增 数据地图新增元数据管理模块,包括元数据表单注册、批量导入、元数据查看、元数据搜索、元数据注册模板自定义。 2022.03 元数据管理
新增 元数据注册,支持基础表、指标、标签三类元数据的注册。 添加元数据
新增 用户可通过批量导入功能,将线下维护的基础表、指标、标签元数据导入到平台中。平台支持下载模板,根据模板填写规范即可导入,若导入内容不规范系统会提示相应文案。 批量导入
新增 元数据列表支持查看、编辑、删除以及元数据搜索。 元数据其它操作
新增 元数据注册模板管理,支持表级、字段级、指标、标签四类注册模板的自定义(项目负责人、项目管理员有操作权限)。 注册模板配置

6.4.0 Update 0.2

编号 产品模块 特性 功能描述 时间 产品文档
1 数据传输(v2.3.1) 新增 数据传输接入安全中心功能权限,实现数据传输的离线同步任务和实时同步任务的功能权限管控。 2022.02 功能权限
新增 数据传输接入控制台源系统账号鉴权。 数据源管理
新增 数据传输支持静态脱敏。 新建单个离线同步任务
新增 数据来源为:FTP时,支持校验数据传输读取行数和校验文件记录的数据行数是否一致。 -
优化 无权限访问项目时,增加报错提示。 -
优化 在使用数据过滤条件时,提供参数splitWithoutCondition指定在切分过程中是对整表切分,还是对本次的查询区间切分。 -
新增 离线同步任务支持读写浪潮云海MPP,当前支持浪潮云海Insight MPP V4版本。 -
优化 数据传输读写GreenPlum时,库表选择请选择数据库改为请选择schema -
优化 数据来源端为GreenPlum时,分区字段改为选填项。若数据源版本为PostgreSQL v9.4时,分区字段为必填项;若数据源版本为浪潮云海Insight MPP V4时,分区字段可选填。 -
优化 数据去向为GreenPlum时,新增写入规则:Overwrite-truncate(清空表数据后插入数据)。当数据去向为GreenPlum时,目前支持的写入规则:Append、Overwrite-delete、Overwrite-truncate。 -
2 离线开发(v6.4.2) 新增 批量导出和导入增加调度信息。 2022.03 任务批量导出和导入
新增 离线开发任务编辑调度,支持设置调度失效时间 编辑调度
新增 离线开发任务开发模式运行,支持配置执行参照时间 运行测试
新增 离线开发开发模式运行,支持配置完成通知 运行测试
新增 离线开发编辑调度,智能推荐依赖支持推荐数据同步节点。 -
新增 离线开发的依赖授权支持项目组内全公开功能。 依赖授权
新增 公共资源的资源组,增加存储路径显示。 公共资源
新增 公共资源的参数组,增加数据传输产品的引用信息。 -
优化 项目中心的项目配置,相关文件夹圈选优化。 项目配置
优化 任务发布增加资源组和参数组等引用信息。 -
优化 任务复制、导出、导入时增加附带信息,原来只包含任务和资源,目前任务会有引用参数组、引用资源组、任务描述、任务配置等内容。 -
优化 离线开发的VerticaSQL节点(需要开启该节点)运行和自助分析中连接Vertica数据源运行,在日志中增加显示执行sql、运行时长、影响行数、运行结果。 -
3 元数据中心(v4.1.8) 新增 新增浪潮MPP数据源支持(Greenplum的一个定制版本),包括数据源登记、测试连接、库表列获取等功能。在数据源登记时,可选择登记GreenPlum数据源,可选择版本号:浪潮云海Insight MPP V4。 2022.02 -
新增 支持GreenPlum数据类型的血缘以及表DDL实时推送流程,表DDL实时推送包括在模型设计中心、离线开发、自助分析中建表后,能够将DDL实时推送给元数据中心存储下来,以便在数据地图能够即时搜索查询到新建的表。 -
新增 支持模型设计中心GreenPlum类型的建表,存储及查询GreenPlum信息。 -
新增 支持查看数据源引用任务详情,对接数据服务的引用任务信息。 -
新增 支持登记CDH Hive,支持的版本号为:0.14-CDH5.3、1.1.0-CDH5.16、2.1-CDH6.3.4。(仅限实时计算使用) -
优化 数据源名称修改为项目组下唯一,之前是限制同类型下唯一。 -
优化 数据源重复登记的报错文案优化。 -
4 控制台(v1.2.0) 新增 支持浪潮云海MPP登记,用于数据传输模型设计中心离线开发数据质量中心数据地图等子产品使用。 2022.02 -
新增 支持登记CDH Hive,用于实时计算。(支持版本号为:0.14-CDH5.3、1.1.0-CDH5.16、2.1-CDH6.3.4) -
新增 Kafka增加用户名密码认证模式及源系统账号鉴权功能,用于实时计算 -
新增 提供openAPI接口:
1. 数据源列表及详情查询;
2. 实时累计用户数(不分项目);
3. 指定项目用户数;
4. 项目列表及详情查询;
5. 项目用户及对应角色查询。
-
5 数据质量中心(v1.3.0) 新增 质量大屏支持下钻到次级主题域。针对Hive表,涉及表质量平均分、监控配置情况、调度监控执行情况,增加主题域筛选条件,按主题域展开展示结果,可下钻到次级主题域。 2022.02 数据质量评估
新增 MySQL支持自定义分区:对于MySQL此种不自带分区的数据源类型,提供自定义分区设置。 创建稽核监控任务
优化 规则模板分类:
1. 支持规则模板按规则类型(字段级/表级)、校验类型(完整性校验、有效性校验、数值型校验、波动型校验、唯一性校验、准确性校验、一致性校验、通用保障、其它)分类展示 ;
2. 增加筛选条件:规则类型、适用数据表类型、校验类型。
-
新增 丰富规则模板:
1. 系统内置新增7个字段级规则模板;
2. 新建规则模板支持新增通用、固定值、重复性、波动性规则模板。
3. 新建规则选择字段时展示字段类型,支持选择新增的字段级内置模板进行规则灵活配置。
4. 新增模板规则支持执行实例、执行趋势展示。
-
优化 执行趋势字段级规则检查的筛选条件优化为按规则名称筛选。 -
优化 表行数波动率规则运行结果和执行趋势中,会展示此次的表行数和上一周期表行数。 -
优化 点击执行实例ID跳转任务运维中心(新)实例详情页。 -
优化 报警配置统一收拢到报警中心。 -
新增 质量中心支持Greenplum数据源:
1. 支持对Greenplum数据源进行数据质量监控配置;
2. 支持适用 postgresql数据表(适用Greenplum数据源)规则模板;
3.支持展示监控对象为Greenplum数据源的相关质量结果。
2022.03 -
优化 试跑的执行队列,增加CPU和内存的显示。 -
6 模型设计中心(v1.2.7) 新增 模型设计中心支持Greenplum数据源类型。 2022.03 外部数据源建表演示
7 数据地图(v1.5.1) 优化 优化hive表负责人的查询和存储。表负责人信息由原来查询平台的接口改成查询元数据中心接口,修改负责人会同时更新到hms和metahub。 2022.03 -
8 任务运维中心(v1.1.0) 新增 新增调度失效功能。 2022.02 任务列表
优化 智能诊断优化,对底层报错日志获取方式重构,同时增加用户诊断结果反馈打标。 智能诊断
优化 告警模板文案优化,优化标题和新增跳转链接。 -
优化 优化基线运维中已完成的基线的文案。 -
新增 告警历史增加响应信息,包括响应人、响应时间。 报警历史
9 安全中心(v3.3.2) 新增 安全中心新增脱敏管理模块进行数据敏感类型配置、脱敏规则配置、脱敏算法查看。 2022.02 脱敏管理
优化 权限申请功能优化:
1. 取消申请对象项目组和项目信息选择,只能为本项目下的账号申请权限。
2. 将账号类型划分为当前账号、他人账号、项目账号三种。
3. 交互视觉优化:优化布局和交互,将待添加和待申请以穿梭框的形式选择。
权限申请
优化 支持视图权限授予和申请,创建、删除视图时,自动为创建人授予和回收hive权限。 -
优化 我的权限和权限到期通知展示资源的项目。 -
新增 支持查看脱敏规则引用的传输任务数和引用详情并支持跳转到相应传输任务,已被引用的规则不可删除。 脱敏配置
新增 静态脱敏的补充功能:支持查看线上调度的传输任务脱敏情况,父表展示一个传输任务扫描一次产生的结果(执行实例),子表展示脱敏详情。 脱敏结果

6.4.0 Update 0.1

编号 产品模块 特性 功能描述 时间 产品文档
1 元数据中心(v4.1.7) 新增 实时血缘扩增数据源类型,在数据地图流表/Topic血缘中可查看写入Kudu、HBase的血缘。 2022.02 Kafka流表
新增 支持同一任务内的临时表删除后,保持上下游表的血缘关系。 Hive
新增 Vertica、Oracle、MySQL数据源,支持离线开发、自助分析、数据传输任务数据产出订阅。 -
新增 获取表列表中增加是否视图表的标识信息。 -
新增 支持自助分析推送任务血缘给元数据中心,目前支持Vertica、Oracle、MySQL。 -
新增 元数据中心返回DECIMAL数据的精度。 -
新增 新旧附加列接口兼容改造,支持批量删除、修改,适配模型设计中心。 -
优化 离线开发任务上线时影响标签tag检测数量过多而卡顿问题优化,通过新增接口限制返回500个标签以及标签总数。 -
优化 线上环境,es定时任务同步默认时长从8h修改为20h。 -
2 模型设计中心(v1.2.6) 新增 模型设计中心支持MySQL、Vertica,相关界面都进行展示调整。 2022.02 外部数据源建表演示
新增 主题域界面,支持流批一体表标识展示。 主题域
新增 表设计工单管理-与我相关中,新建/修改表工单、工单列表/工单详情展示均支持MySQL、Vertica。 -
新增 新建/修改表时支持填写/修改表及字段的扩展属性。 扩展信息配置
新增 维度可关联多层主题域,不限于二级主题以内。 -
优化 在维度、度量等模块选择表时,支持展示数据源类型标识。 维度
优化 新建表时放开维度表只允许选择一个主键的限制。 -
优化 数仓建设概览支持对数据源类型进行合并统计(之前只统计Hive)。 -
优化 去除原表设计规则管理中字段附加列的配置,升级为扩展属性管理页面。 扩展信息配置
优化 支持子主题域采用相同命名,放开不同层级主题域不可重名的限制。 -
优化 修改表工单页面排版优化。 -
3 数据地图(v1.5.0) 新增 流表血缘链路中增加区分是读写流表还是Topic的标识。 2022.02 Kafka流表
优化 Hive表详情操作按钮UI入口优化。 Hive
新增 Hive表详情增加产出任务信息、产出SQL脚本信息。 Hive
新增 表详情增加快捷搜索入口,方便用户直接搜表,不需要返回搜索首页。 Hive
新增 MySQL、Vertica表详情页增加表扩展业务属性信息、字段附加列信息、字段关联的维度或指标、字段编辑等。 MySQL
新增 数仓表导引增加不同类型数据源的支持,包括Hive、MySQL、Vertica,并提供筛选功能。 数仓表导引
优化 数据地图记录用户上次登录时的项目集群信息。 -