产品介绍

数据资产地图基于元数据提供各类数据检索、数据血缘、数据资产目录、元数据采集和管理、元数据详情查看等功能,旨在帮助用户更加方便快捷的找数、用数。数据资产地图的使用场景主要有:

1、统一的元数据管理平台

电商平台中琳琅满目的商品需要商家的管理和上架,企业生产过程中丰富的元数据也离不开数据人员的管理和治理。我们的产品提供一站式的元数据管理功能,涵盖元数据的采集、注册、治理、发布等全流程,确保最终呈现的元数据高质量、可信赖。

2、统一的找数、看数平台

数据地图汇总了企业的各类元数据,并支持以“资产目录”的方式来组织管理数据。用户通过资产目录找数据,就像我们进入图书馆,可以使用书目检索查看一本书是否存在、它的位置以及详细信息。更可以通过这些信息决定是否使用这本书。同样的,企业用户也可以按照不同业务维度,通过“资产目录”快速找到自己想要的数据。找数据、看数据,就来数据资产地图,成为数据用户的一种习惯。

3、数据血缘全链路分析

企业业务之间和实际数据生产链路往往都存在着错综复杂的依赖关系,某环节变更后很难评估下游的影响范围、并追溯上游产生问题的原因。我们的产品支持以可视化DAG图的方式查看全链路血缘,确保用户清晰掌握数据的完整流向,对数据异常环节及影响范围及时进行干预。

产品定位及目标用户

数据资产地图的产品定位及目标用户介绍如下: POPO20230615-120032.jpg

产品架构图

数据资产地图的产品架构图如下所示: 1POPO20230615-135848.jpg

目前数据资产地图支持检索的数据源类型说明如下:

类型 说明
Hive 当前项目组下公开的Hive库表,包含内表、外表、视图表。
MySQL 当前项目组下登记的MySQL数据源下的表。
Vertica 当前项目组下登记的Vertica数据源下的表。
Oracle 当前项目组下登记的Oracle数据源下的表。
Greenplum 当前项目组下登记的Greenplum数据源下的表。
SQLServer 当前项目组下登记的SQLServer数据源下的表。
Kudu 当前项目组下登记的Kudu数据源下的表。
HBase 当前项目组下登记的HBase数据源下的表。
Iceberg 当前项目组下后台注册的Iceberg数据源下的表。
流表 当前项目组下实时计算创建的流表,流表来源类型包括Kafka、Nydus、RocketMQ等。
Topic 当前项目组下登记的Kafka、Nydus、RocketMQ数据源下的Topic。
指标 已部署指标系统中的所有发布的指标。
标签 已部署标签画像中的所有发布的标签。
说明: 数据资产地图的检索范围为项目组级别,该点需要特别注意,因为对于目前离线开发、任务运维、自助分析等都是按照项目级别作为操作空间的粒度。