版本：v2.19.0

新增功能

1.支持超级项目组全局资产管理

  • 功能介绍

    • 平台之前的架构是以项目组为最大隔离粒度来管理数据资产，例如网易云音乐、网易传媒等事业部各自作为一个独立的项目组，业务上完全隔离互不干扰。但对于一些集团性企业例如通威股份、兴合集团等，其企业架构是一个集团母公司和多个子公司，虽然各自可作为一个独立项目组来运转，但是集团母公司需要能查看所有子公司数据，此时项目组隔离导致无法满足。基于这种场景，需要有一个超级项目组来代表集团母公司角色，子公司都是普通项目组，母公司超级项目组能够打破项目组隔离限制，可搜索、治理、浏览全部hive集群数据。超级项目组可在「平台管理-项目组管理」模块中指定，下面具体介绍超级项目组所具备的能力：
      • 首页支持统计所有集群已治理、未治理的表数量
      • 首页支持统计所有项目组已发布的指标总数
      • 支持搜索和浏览所有项目组所有集群的hive表，支持按项目组筛选
      • 支持搜索和浏览所有项目组已发布的指标，支持按项目组筛选
      • 超级项目组支持对所有hive集群元数据进行采集和治理，普通项目组仅支持采集和治理有权限的集群的数据

  • 注意事项

    • 上述功能仅针对超级项目组，普通项目组仍存在项目组间隔离的情况

2.支持自动推荐表和字段的敏感数据分类

  • 功能介绍

    • 元数据治理流程中，新增表和字段的敏感数据分类信息，对接第三方NLP接口来自动推荐表和字段的敏感数据分类值

  • 注意事项

    • 第三方NLP接口是针对特定客户定制的

功能优化

1.资产目录表列表UI优化

  • 功能介绍

    • 优化资产目录表列表的宽度样式

2.精准搜索UI优化

  • 功能介绍

    • 将之前的精准搜索icon按钮样式优化为复选框勾选的样式，方便用户发现和使用该功能，优化交互体验

版本：v2.18.0

新增功能

1.支持Impala血缘

  • 功能介绍

    • 平台执行引擎为impala的任务，支持在地图展示对应的表血缘信息

2.提供数据资产门户相关接口

  • 功能介绍

    • 平台提供表详情相关OpenAPI，用于数据资产门户展示资产详情

功能优化

1.数据传输提供接口支持批量查询字段的静态脱敏信息

  • 功能介绍

    • 字段血缘脱敏信息查询接口优化，支持批量查询

2.GaussDB表详情支持查看DDL信息

  • 功能介绍

    • 在GaussDB表详情页，用户可直接点击查看DDL信息

3.元数据采集侧边框宽度优化

  • 功能介绍

    • 元数据采集任务侧边栏抽屉宽度加宽，方便用户操作和查看，提升用户体验

4.地图iceberg表血缘支持展示下游BI报告

  • 功能介绍

    • 在BI中登记的Doris数据源，如果doris外表关联的底层元数据为iceberg，系统支持打通BI和中台的血缘，在中台iceberg表血缘中支持查看下游的BI报表

版本：v2.17.0

新增功能

1.元数据采集发生表变更支持配置是否覆盖的策略

  • 功能介绍

    • 之前元数据采集后，默认不会更新数据库中的物理信息。但是有用户反馈数据库中表结构变更后希望下次采集元数据时可以选择是否同步更新。基于此背景，产品新增元数据采集表结构变更是否覆盖的策略，变更内容包括新增字段、删除字段、字段类型变更、表备注和字段备注更新等

  • 使用步骤

    • 在元数据采集模块，设置相应的覆盖策略即可

  • 注意事项

    • 无

2.支持在血缘图中可查看字段脱敏信息、敏感类型、安全等级

  • 功能介绍

    • 字段血缘图之前仅展示上下游字段间的血缘关系，本次新增字段属性的展示，可以按需在字段血缘图中展示上下游字段的敏感信息、脱敏规则、安全等级

  • 使用步骤

    • 查看字段血缘模块，点击勾选敏感信息、脱敏规则、安全等级的属性即可

  • 注意事项

    • 无

3.Hive表详情页支持查看数据探查内容

  • 功能介绍

    • Hive表详情页新增数据探查的模块，可以查看表的探查记录，包括总记录数、去重记录数、主键字段、枚举字段值分布、各字段最大最小值、null值数和占比等

  • 使用步骤

    • 查看Hive表详情，点击数据探查的模块即可

  • 注意事项

    • 仅Hive表支持查看数据探查内容
    • 数据探查内容需要先在数据质量中心创建过形态探查任务后，才会展示探查结果
    • 仅表所在项目的项目成员和有表读权限的人，才可查看探查内容，避免存在数据安全问题

4.适配oceanbase for MySQL/Oracle 离线开发血缘

  • 功能介绍

    • 在平台离线开发运行过的oceanbase sql节点任务后，可在oceanbase表详情页查看表血缘信息

  • 注意事项

    • 无

5.支持API搜索和查看

  • 功能介绍

    • 支持在地图首页搜索API

  • 注意事项

    • 仅支持搜索API市场中已发布的API

功能优化

1.字段列表、数据预览展示的脱敏规则和敏感信息优化

  • 功能介绍

    • 在字段列表和数据预览的页面，增加展示字段的敏感类型、脱敏规则信息

  • 使用步骤

    • 查看字段列表和数据预览的页面即可

  • 注意事项

    • 无

2.下线状态的元数据支持批量编辑

  • 功能介绍
    • 元数据注册列表，之前下线状态的元数据只能单个编辑，本次增加了批量编辑的功能

3.数据预览时支持展示“字段描述”

  • 功能介绍
    • 数据预览的表头交互优化，并增加展示字段描述信息

4.没有hms编辑权限时，新增OPS配置来禁止修改hive表的技术负责人、表描述、字段描述

  • 功能介绍
    • 在部分客户环境中，不支持项目账号更新集群的HMS信息，导致Hive相关信息无法修改，故针对这种情况增加配置功能，一旦出现不支持修改Hive相关信息时则禁用相关操作并提示用户。涉及修改的内容主要是Hive表技术负责人、表描述、字段描述信息

5.网易内部环境增加数据探查功能的埋点，对接哈勃

  • 功能介绍
    • 网易内部环境针对部分功能增加产品埋点，以便统计用户使用情况，本次新增的埋点是统计数据探查报告的使用情况，外部客户环境暂不支持对接哈勃，故不支持埋点

版本：v2.16.0

新增功能

1.支持表名搜索开启精准匹配

  • 功能介绍

    • 之前地图的搜索默认是模糊搜索，有时同一关键字可能搜出较多结果，对用户选择形成干扰。故系统增加是否精准匹配的设置项，可灵活开启，方便精确定位自己想要的数据。

  • 使用步骤

    • 在搜索框中可开启或关闭是否精准匹配的功能
      变更合辑（2024年） - 图1

2.支持展示达梦表血缘

  • 功能介绍

    • 离线开发运行达梦节点SQL任务后，支持在地图达梦表详情页查看达梦表血缘信息

  • 使用步骤

    • 离线开发运行达梦节点任务，然后在地图查看达梦表详情数据血缘信息即可

3.支持Greenplum表的元数据治理和发布流程

  • 功能介绍

    • 元数据采集、治理、发布模块新增支持Greenplum表

  • 使用步骤

    • 登记Greenplum数据源后，在具备数据源、采集、治理模块相关功能权限的基础上，创建元数据采集任务采集Greenplum表即可。
      变更合辑（2024年） - 图2

功能优化

1.支持字段血缘影响逻辑交互优化

  • 功能介绍

    • 之前查看字段血缘时，侧边栏信息较窄看不全，用户体验不好。本次优化后，扩大侧边框宽度，增加影响逻辑统计数和放大框等，提升用户体验。

  • 使用步骤

    • 进入Hive表详情页，查看字段血缘即可

版本：v2.15.0

新增功能

1.支持TiDB表的元数据采集、治理、发布、搜索和查看

  • 功能介绍

    • 系统支持TiDB表的元数据采集、注册、治理、发布、搜索和表详情查看

  • 使用步骤

    • 元数据采集模块，可以新建元数据采集任务，数据源类型可选择TiDB
    • 元数据注册模块，可以对已采集的TiDB表进行元数据治理、发布和下线等操作
    • 数据资产地图首页支持搜索TiDB表，可查看TiDB表详情，包括基本信息、字段信息、版本信息等

2.达梦表详情支持查看数据质量报告

  • 功能介绍

    • 达梦表详情页可查看表的数据质量报告

  • 使用步骤

    • 第一步：首先需要在数据质量中心给达梦表创建质量稽核任务，并执行任务；
    • 第二步：达梦表质量监控任务运行完成后，会生成质量报告，在地图中搜索并查看达梦表时，即可查看表的数据质量报告信息。

3.元数据管理增加血缘分析，展示血缘覆盖率统计信息

  • 功能介绍
    • 支持查看离线开发调度任务和节点的血缘覆盖率统计信息，支持按照平台整体、项目组、项目、集群等粒度查看血缘覆盖率情况。

  • 使用步骤

    • 进入「地图-元数据管理-元数据分析」模块，即可查看血缘分析页面。该页面可以查看昨日总调度任务数、有血缘的任务数、任务血缘覆盖率、昨日总调度节点数、有血缘的节点数、节点血缘覆盖率等，同时提供查看和下载疑似无血缘的任务和节点列表。

  • 注意事项

    • 默认平台负责人可以查看平台整体血缘覆盖率、各项目组血缘覆盖率；
    • 默认项目组负责人或者项目组管理员可以查看其所在项目组的血缘覆盖率。

功能优化

1.表血缘SDK增加参数用于跳转第三方门户表详情页

  • 功能介绍

    • 支持提供血缘SDK，在客户环境部署后可展示表血缘图。本次新增相关参数，用于客户环境自定义血缘节点跳转不同页面

  • 使用步骤

    • SDK升级后，点击血缘中的节点，查看节点的详情页即可

2.hiveOnKudu表支持查看和修改字段描述、表描述

  • 功能介绍
    • 支持查看hiveOnKudu表的表描述信息、字段描述信息，且表的技术负责人和表所属项目管理员可以编辑表描述和字段描述
  • 使用步骤
    • hiveOnKudu表详情页，直接查看表描述信息、字段描述信息即可

3.表详情页UI优化

  • 功能介绍

    • KafkaTopic、RocketMQTopic、NydusTopic、流表、Greenplum、Kudu、HBase等详情页内容UI展示优化。之前部分信息在左侧侧边栏展示，部分信息在右侧分tab展示，本次优化后统一分tab展示不同信息。

  • 使用步骤

    • 查看对应表详情页即可

4.表的产出信息中，运行中时显示的结束时间、执行时长需要优化

  • 功能介绍
    • 优化前若产出任务运行中，则结束时间和执行时长显示有误，优化后则显示空杠，待运行结束则会显示正常的结束时间和执行时长。
  • 使用步骤
    • 表详情页点击产出信息Tab，查看表的产出任务列表即可