版本：v2.19.4

新增功能

1.支持预览Doris表数据，展示Doris表血缘

• 功能介绍

  • 数据资产地图的Doris表详情支持数据预览、产出信息、数据血缘。

• 操作步骤

  • 从数据资产地图进入Doris表详情页面，可以查看Doris表数据、产出信息、表血缘。

• 注意事项

  • Doris表血缘解析SDK底层是复用MySQL血缘SDK，适用于MySQL语法。

2.支持展示Greenplum表字段血缘

• 功能介绍

  • 数据资产地图的Greenplum表详情支持字段血缘。

• 操作步骤

  • 数据资产地图进入Greenplum表详情页面，可以查看Greenplum表字段血缘。

• 注意事项

  • Greenplum表血缘和字段血缘的来源主要包括自助分析、离线开发(开发模式和线上模式)运行的GPSQL任务。

3.支持元数据填充规则设置和自动填充

• 功能介绍

  • 在元数据管理页面，支持用户对“字段物理名称”、“字段备注”配置正则表达式，为符合正则规则的元数据打上对应的属性标签，具体功能包括：

    • 数据资产地图-配置管理模块，新增“元数据填充规则配置”功能。

    • 元数据采集页面，支持在采集任务中对已圈选的表进行元数据自动填充，并支持查看元数据自动填充执行记录。

    • 元数据注册列表页面、元数据详情页面，支持对存量数据手动发起元数据自动填充检测，并支持查看元数据自动填充执行记录。

    • 支持在安全中心模块分别授予“元数据填充规则配置”、“元数据自动填充检测”的相关权限。

• 操作步骤

  • 进入数据资产地图-配置管理模块，在“元数据填充规则配置”功能下，支持查看、编辑元数据填充规则。

  • 新建、编辑元数据采集任务时，用户可勾选“是否触发元数据填充规则检测”，勾选后则在本次采集任务启动时触发自动填充功能。可以在采集实例监控页面查看元数据自动填充执行记录。

  • 在元数据注册列表页面、元数据详情页面，用户可以手动对存量元数据发起自动填充检测。进入元数据属性检测记录页面可以查看元数据自动填充执行记录。

  • 进入安全中心的角色管理页面，支持对“元数据填充规则配置”、“元数据自动填充检测”进行功能授权。

4.支持跨项目组资产共享

• 功能介绍

  • 允许本项目组向其他项目组共享数据资产，在数据资产地图首页、资产目录、数据查询页面支持查看其他项目组共享给本项目组的数据资产，具体功能包括：

    • 支持本项目组向其他项目组发起资产共享申请。

    • 支持本项目组向其他项目组申请回收已共享的资产。

    • 支持本项目组查看目前已向其他项目组共享的资产。

• 操作步骤

  • 用户在数据资产地图首页、资产目录、数据查询页面可以切换tab，查看其他项目组共享给本项目组的数据资产

  • 进入数据资产地图-配置管理模块，可在“资产共享配置”功能下，查看本项目组的新建资产共享、回收资产共享、查看资产共享结果。

• 注意事项

  • 如果没有其他项目组共享的资产，则不会显示切换自有资产或共享资产的tab。

5.跨项目组资产共享对接审批流和功能权限

• 功能介绍

  • 支持设置“资产共享配置”的功能权限，并对接安全中心。

  • 资产共享的发起和回收审批流对接流程协作与通知中心。

• 操作步骤

  • 进入安全中心，在项目组角色或成员下可授予“资产共享配置”的权限。

  • 进入流协的审批中心，可以查看并处理发起或回收资产共享的申请工单。

• 注意事项

  • 项目组负责人和管理员默认拥有资产共享配置的权限。

功能优化

1.元数据关联实体只能选择有权限的业务对象下的实体

• 功能介绍

  • 之前元数据治理时，在“关联的逻辑实体”下拉框，可以选择没有挂载到业务对象的逻辑实体。本次优化后，仅可以选择关系建模中，有权限的业务对象下的逻辑实体作为元数据的关联实体。

  • 调整了元数据导出excel模板中，“关联的逻辑实体”字段的相关文案。

• 注意事项

  • “关联的逻辑实体”下拉框受到用户权限的影响，限制用户仅能查看有查看权限的业务对象及其逻辑实体。

2.StarRocks表详情支持查看DDL

• 功能介绍

  • StarRocks表详情页面，用户可点击查看DDL信息。

3.元数据采集在大数据量时，优化性能问题

• 功能介绍

  • 之前新建元数据采集任务，选择采集范围时，如果数据表过多，点击一键全选会出现内存溢出错误。本次优化后，一键全选功能增加条数上限，选择数据表超过1万张时禁用一键全选功能，并设置提醒文案，建议用户以整库采集元数据。

4.超级租户遗留问题优化

• 功能介绍

  • 目前超级项目组在资产目录、表详情页面仅能查看到部分表信息，且无法搜索子项目组发布的Hive表和非Hive表。本次优化后，超级项目组能够看到子项目组的表详情和治理内容，并且可以搜索到子项目组已发布的数据资产。

5.表详情查看权限展示TDH对应的权限点

• 功能介绍

  • 在TDH集群下，支持查看当前用户具有表的哪些权限，若没有权限则可去申请权限

版本：v2.19.3

新增功能

1.超级租户全局资产目录汇总

• 功能介绍

  • 在平台管理中设置为超级项目组的话，则超级项目组的成员在数据资产地图就可查看所有项目组的资产目录。

• 详细操作步骤

  • 平台管理中给某个项目组设置为超级项目组，然后超级项目组的成员进入地图首页，就能看到全局所有项目组的资产目录。

• 注意事项

  • 仅超级项目组可查看所有项目组的资产目录，普通项目组只能查看本项目组的资产目录。

2.适配TDH Inceptor表

• 功能介绍

  • 平台默认底座是适配网易的NDH集群，该版本新增适配第三方的TDH集群，故数据资产地图的表和血缘均做了相关兼容适配

• 注意事项

  • TDH集群需要前期部署时运维配置好

3.元数据采集、注册、治理、表搜索、表详情支持ClickHouse

• 功能介绍

  • 数据资产地图新增适配ClickHouse表，具体功能包括：

    • 元数据采集、注册、治理、发布流程支持ClickHouse表
    • 元数据导入导出支持ClickHouse表
    • 地图表搜索、表详情支持ClickHouse表
    • 我收藏、浏览、订阅的表支持ClickHouse表

• 详细操作步骤

  • 进入地图可搜索查看ClickHouse表

功能优化

1.告警通知渠道对接告警中心

• 功能介绍

  • 之前告警渠道可选范围比较固定，没有和告警中心支持的渠道打通。本次优化后，告警渠道统一取自告警中心配置的告警渠道。

2.查看表详情时，当前用户所处的项目不跟随表所属项目而变更

• 功能介绍

  • 之前用户查看某项目的表，右上角所处的项目也会自动切换为表所属项目，不符合用户预期，本次优化后用户右上角所处项目不会随着表所属项目变化而变化，用户需要切换项目时可自主切换，系统不会主动切换用户的当前项目。

3.数仓表导引增加达梦和GaussDB，保持和模型设计一致

• 功能介绍

  • 数仓表导引增加达梦和GaussDB表类型

版本：v2.19.2

功能优化

1.元数据注册中表名和字段名规范限制放开

• 功能介绍

  • 多个用户反馈存量元数据由于表命名不规范，导致无法导入平台。为了灵活支持这类情况，现将元数据格式校验放宽，允许例如下划线结尾的表名可导入平台。

2.元数据采集支持iceberg

• 功能介绍

  • 之前元数据采集时不支持选择Iceberg表，本次优化后将Iceberg作为一种特殊hive表，放开供用户采集。

版本：v2.19.1

新增功能

1.支持统计、搜索、查看业务对象

• 功能介绍

  • 平台新增“关系建模”的子产品，支持管理业务对象，其上线的业务对象信息可同步在数据资产地图呈现。数据资产地图支持统计、搜索、浏览业务对象信息，方便用户了解公司的业务对象分布情况。具体功能包括：

    • 首页支持统计该项目组下所有已上线的业务对象数量
    • 首页支持搜索该项目组下所有已上线的业务对象，跳转查看业务对象详情信息
    • 资产目录模块支持按照主题域分组/主题域的分类目录来浏览筛选业务对象

• 注意事项

  • 所有涉及业务对象的功能，都依赖于关系建模模块，如果企业没有开启关系建模模块，则不提供该功能

2.元数据治理，支持关联逻辑实体和逻辑实体属性，包括注册模板、导入导出等

• 功能介绍

  • 在元数据治理时，支持用户给表关联逻辑实体，给表的字段关联逻辑实体属性信息

• 注意事项

  • 所有涉及逻辑实体和属性的功能，都依赖于关系建模模块，如果企业没有开启关系建模模块，则不提供该功能

3.支持StarRocks元数据采集、注册、治理、发布、搜索、表血缘等

• 功能介绍

  • 数据资产地图新增适配StarRocks表，具体功能包括：

    • 元数据采集、注册、治理、发布流程支持StarRocks表
    • 元数据导入导出支持StarRocks表
    • 地图表搜索、表详情、表血缘支持StarRocks表
    • 我收藏、浏览、订阅的表支持StarRocks表

功能优化

1.表相关OpenAPI增加关联逻辑实体和逻辑实体属性信息

• 功能介绍

  • 表详情、字段详情的OpenAPI接口新增关联的逻辑实体、实体属性相关信息；另外新增2个OpenAPI，支持根据实体查询实体关联的表、根据实体属性查询表字段

版本：v2.19.0

新增功能

1.支持超级项目组全局资产管理

• 功能介绍

  • 平台之前的架构是以项目组为最大隔离粒度来管理数据资产，例如网易云音乐、网易传媒等事业部各自作为一个独立的项目组，业务上完全隔离互不干扰。但对于一些集团性企业例如通威股份、兴合集团等，其企业架构是一个集团母公司和多个子公司，虽然各自可作为一个独立项目组来运转，但是集团母公司需要能查看所有子公司数据，此时项目组隔离导致无法满足。基于这种场景，需要有一个超级项目组来代表集团母公司角色，子公司都是普通项目组，母公司超级项目组能够打破项目组隔离限制，可搜索、治理、浏览全部hive集群数据。超级项目组可在「平台管理-项目组管理」模块中指定，下面具体介绍超级项目组所具备的能力：
    • 首页支持统计所有集群已治理、未治理的表数量
    • 首页支持统计所有项目组已发布的指标总数
    • 支持搜索和浏览所有项目组所有集群的hive表，支持按项目组筛选
    • 支持搜索和浏览所有项目组已发布的指标，支持按项目组筛选
    • 超级项目组支持对所有hive集群元数据进行采集和治理，普通项目组仅支持采集和治理有权限的集群的数据

• 注意事项

  • 上述功能仅针对超级项目组，普通项目组仍存在项目组间隔离的情况

2.支持自动推荐表和字段的敏感数据分类

• 功能介绍

  • 元数据治理流程中，新增表和字段的敏感数据分类信息，对接第三方NLP接口来自动推荐表和字段的敏感数据分类值

• 注意事项

  • 第三方NLP接口是针对特定客户定制的

功能优化

1.资产目录表列表UI优化

• 功能介绍

  • 优化资产目录表列表的宽度样式

2.精准搜索UI优化

• 功能介绍

  • 将之前的精准搜索icon按钮样式优化为复选框勾选的样式，方便用户发现和使用该功能，优化交互体验

版本：v2.18.0

新增功能

1.支持Impala血缘

• 功能介绍

  • 平台执行引擎为impala的任务，支持在地图展示对应的表血缘信息

2.提供数据资产门户相关接口

• 功能介绍

  • 平台提供表详情相关OpenAPI，用于数据资产门户展示资产详情

功能优化

1.数据传输提供接口支持批量查询字段的静态脱敏信息

• 功能介绍

  • 字段血缘脱敏信息查询接口优化，支持批量查询

2.GaussDB表详情支持查看DDL信息

• 功能介绍

  • 在GaussDB表详情页，用户可直接点击查看DDL信息

3.元数据采集侧边框宽度优化

• 功能介绍

  • 元数据采集任务侧边栏抽屉宽度加宽，方便用户操作和查看，提升用户体验

4.地图iceberg表血缘支持展示下游BI报告

• 功能介绍

  • 在BI中登记的Doris数据源，如果doris外表关联的底层元数据为iceberg，系统支持打通BI和中台的血缘，在中台iceberg表血缘中支持查看下游的BI报表

版本：v2.17.0

新增功能

1.元数据采集发生表变更支持配置是否覆盖的策略

• 功能介绍

  • 之前元数据采集后，默认不会更新数据库中的物理信息。但是有用户反馈数据库中表结构变更后希望下次采集元数据时可以选择是否同步更新。基于此背景，产品新增元数据采集表结构变更是否覆盖的策略，变更内容包括新增字段、删除字段、字段类型变更、表备注和字段备注更新等

• 使用步骤

  • 在元数据采集模块，设置相应的覆盖策略即可

• 注意事项

  • 无

2.支持在血缘图中可查看字段脱敏信息、敏感类型、安全等级

• 功能介绍

  • 字段血缘图之前仅展示上下游字段间的血缘关系，本次新增字段属性的展示，可以按需在字段血缘图中展示上下游字段的敏感信息、脱敏规则、安全等级

• 使用步骤

  • 查看字段血缘模块，点击勾选敏感信息、脱敏规则、安全等级的属性即可

• 注意事项

  • 无

3.Hive表详情页支持查看数据探查内容

• 功能介绍

  • Hive表详情页新增数据探查的模块，可以查看表的探查记录，包括总记录数、去重记录数、主键字段、枚举字段值分布、各字段最大最小值、null值数和占比等

• 使用步骤

  • 查看Hive表详情，点击数据探查的模块即可

• 注意事项

  • 仅Hive表支持查看数据探查内容
  • 数据探查内容需要先在数据质量中心创建过形态探查任务后，才会展示探查结果
  • 仅表所在项目的项目成员和有表读权限的人，才可查看探查内容，避免存在数据安全问题

4.适配oceanbase for MySQL/Oracle 离线开发血缘

• 功能介绍

  • 在平台离线开发运行过的oceanbase sql节点任务后，可在oceanbase表详情页查看表血缘信息

• 注意事项

  • 无

5.支持API搜索和查看

• 功能介绍

  • 支持在地图首页搜索API

• 注意事项

  • 仅支持搜索API市场中已发布的API

功能优化

1.字段列表、数据预览展示的脱敏规则和敏感信息优化

• 功能介绍

  • 在字段列表和数据预览的页面，增加展示字段的敏感类型、脱敏规则信息

• 使用步骤

  • 查看字段列表和数据预览的页面即可

• 注意事项

  • 无

2.下线状态的元数据支持批量编辑

• 功能介绍
  • 元数据注册列表，之前下线状态的元数据只能单个编辑，本次增加了批量编辑的功能

3.数据预览时支持展示“字段描述”

• 功能介绍
  • 数据预览的表头交互优化，并增加展示字段描述信息

4.没有hms编辑权限时，新增OPS配置来禁止修改hive表的技术负责人、表描述、字段描述

• 功能介绍
  • 在部分客户环境中，不支持项目账号更新集群的HMS信息，导致Hive相关信息无法修改，故针对这种情况增加配置功能，一旦出现不支持修改Hive相关信息时则禁用相关操作并提示用户。涉及修改的内容主要是Hive表技术负责人、表描述、字段描述信息

5.网易内部环境增加数据探查功能的埋点，对接哈勃

• 功能介绍
  • 网易内部环境针对部分功能增加产品埋点，以便统计用户使用情况，本次新增的埋点是统计数据探查报告的使用情况，外部客户环境暂不支持对接哈勃，故不支持埋点

版本：v2.16.0

新增功能

1.支持表名搜索开启精准匹配

• 功能介绍

  • 之前地图的搜索默认是模糊搜索，有时同一关键字可能搜出较多结果，对用户选择形成干扰。故系统增加是否精准匹配的设置项，可灵活开启，方便精确定位自己想要的数据。

• 使用步骤

  • 在搜索框中可开启或关闭是否精准匹配的功能
    

2.支持展示达梦表血缘

• 功能介绍

  • 离线开发运行达梦节点SQL任务后，支持在地图达梦表详情页查看达梦表血缘信息

• 使用步骤

  • 离线开发运行达梦节点任务，然后在地图查看达梦表详情数据血缘信息即可

3.支持Greenplum表的元数据治理和发布流程

• 功能介绍

  • 元数据采集、治理、发布模块新增支持Greenplum表

• 使用步骤

  • 登记Greenplum数据源后，在具备数据源、采集、治理模块相关功能权限的基础上，创建元数据采集任务采集Greenplum表即可。
    

功能优化

1.支持字段血缘影响逻辑交互优化

• 功能介绍

  • 之前查看字段血缘时，侧边栏信息较窄看不全，用户体验不好。本次优化后，扩大侧边框宽度，增加影响逻辑统计数和放大框等，提升用户体验。

• 使用步骤

  • 进入Hive表详情页，查看字段血缘即可

版本：v2.15.0

新增功能

1.支持TiDB表的元数据采集、治理、发布、搜索和查看

• 功能介绍

  • 系统支持TiDB表的元数据采集、注册、治理、发布、搜索和表详情查看

• 使用步骤

  • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择TiDB
  • 元数据注册模块，可以对已采集的TiDB表进行元数据治理、发布和下线等操作
  • 数据资产地图首页支持搜索TiDB表，可查看TiDB表详情，包括基本信息、字段信息、版本信息等

2.达梦表详情支持查看数据质量报告

• 功能介绍

  • 达梦表详情页可查看表的数据质量报告

• 使用步骤

  • 第一步：首先需要在数据质量中心给达梦表创建质量稽核任务，并执行任务；
  • 第二步：达梦表质量监控任务运行完成后，会生成质量报告，在地图中搜索并查看达梦表时，即可查看表的数据质量报告信息。

3.元数据管理增加血缘分析，展示血缘覆盖率统计信息

• 功能介绍
  • 支持查看离线开发调度任务和节点的血缘覆盖率统计信息，支持按照平台整体、项目组、项目、集群等粒度查看血缘覆盖率情况。

• 使用步骤

  • 进入「地图-元数据管理-元数据分析」模块，即可查看血缘分析页面。该页面可以查看昨日总调度任务数、有血缘的任务数、任务血缘覆盖率、昨日总调度节点数、有血缘的节点数、节点血缘覆盖率等，同时提供查看和下载疑似无血缘的任务和节点列表。

• 注意事项

  • 默认平台负责人可以查看平台整体血缘覆盖率、各项目组血缘覆盖率；
  • 默认项目组负责人或者项目组管理员可以查看其所在项目组的血缘覆盖率。

功能优化

1.表血缘SDK增加参数用于跳转第三方门户表详情页

• 功能介绍

  • 支持提供血缘SDK，在客户环境部署后可展示表血缘图。本次新增相关参数，用于客户环境自定义血缘节点跳转不同页面

• 使用步骤

  • SDK升级后，点击血缘中的节点，查看节点的详情页即可

2.hiveOnKudu表支持查看和修改字段描述、表描述

• 功能介绍
  • 支持查看hiveOnKudu表的表描述信息、字段描述信息，且表的技术负责人和表所属项目管理员可以编辑表描述和字段描述
• 使用步骤
  • hiveOnKudu表详情页，直接查看表描述信息、字段描述信息即可

3.表详情页UI优化

• 功能介绍

  • KafkaTopic、RocketMQTopic、NydusTopic、流表、Greenplum、Kudu、HBase等详情页内容UI展示优化。之前部分信息在左侧侧边栏展示，部分信息在右侧分tab展示，本次优化后统一分tab展示不同信息。

• 使用步骤

  • 查看对应表详情页即可

4.表的产出信息中，运行中时显示的结束时间、执行时长需要优化

• 功能介绍
  • 优化前若产出任务运行中，则结束时间和执行时长显示有误，优化后则显示空杠，待运行结束则会显示正常的结束时间和执行时长。
• 使用步骤
  • 表详情页点击产出信息Tab，查看表的产出任务列表即可