数据地图主要提供数据检索和展示的功能。支持两种模式,第一种是在数据查询模块直接查找数据,第二种是通过数仓表导引模块按目录查找和搜索hive表。此外,数据地图也支持项目文件和个人文件的回收站功能。

目前数据地图对各类数据源表的支持情况如下:

类型 说明
Hive离线表 当前项目组下开放的Hive库表,包含内表、外表、视图表。
流表 当前项目组下实时计算创建的流表,流表来源类型包括Kafka、Nydus、RocketMQ。
MySQL 当前项目组下登记的MySQL数据源下的表。
Vertica 当前项目组下登记的Vertica数据源下的表。
Kudu 当前项目组下登记的Kudu数据源下的表。
HBase 当前项目组下登记的HBase数据源下的表。
Oracle 当前项目组下登记的Oracle数据源下的表。
Greenplum 当前项目组下登记的Greenplum数据源下的表。
指标 已部署指标系统中的所有指标。
Topic 当前项目组下登记的Kafka、Nydus、RocketMQ数据源下的Topic。
说明: 数据地图的检索范围为项目组级别,该点需要特别注意,因为对于目前离线开发、任务运维、自助分析等都是按照项目级别作为操作空间的粒度。

数据查询


在搜索范围上,支持表/表描述、字段/字段描述、指标的搜索:

  • 对于表/表描述搜索,目前支持Hive、Kudu、HBase、Kafka流表、RocketMQ流表、MySql、Vertica、Oracle、Greenplum;
  • 对于字段/字段描述搜索,目前支持Hive、HBase、Kafka流表、RocketMQ流表、MySql、Vertica、Oracle、Greenplum;
  • 对于指标的搜索,支持搜索指标系统对应的项目组下的所有指标。

在搜索结果的筛选上:

  • 对于表/表描述,支持按源类型、项目、库、主题域、表分层、是否核心表等筛选,其中主题域、表分层、是否核心表,目前仅Hive表会有数据;
  • 对于字段/字段描述,支持按源类型、项目、库、字段标签等筛选;对于指标,支持按指标类型、以及指标域、二级指标域筛选。

下图为数据查询页面,页面的上方为搜索区,下方显示我的收藏我的浏览历史数据
21 数据服务21.png

数仓表导引


如果项目开通了模型设计中心的功能,则在数据地图上会有数仓表导引入口,该模块会按照多级主题和分层的方式展示数仓维护的相关表。用户可通过该入口更方便快捷地查找数仓提供的数据。

下图为数仓表导引页面:
21 数据服务22.png

回收站


对于项目内表或文件删除时,会进入回收站。如果是个人操作,则会进入个人回收站,如果是项目账号操作,则会进入项目回收站。项目回收站内的文件,项目负责人和管理员可进行恢复操作。个人回收站内的文件,项目负责人、管理员和文件删除者可以进行恢复操作。