表详情展示——Hive

1 概述

支持展示Hive表的基础信息、业务信息、存储信息、字段信息、分区信息、数据预览、产出信息、数据血缘、读写记录、DDL变更、使用说明等。此外,也有表类型:内部表、外部表,表类别:离线表、分片表、增量表、流表等信息展示。如果Hive是外部表,onkudu或者onHbase,则目前也会展示对应的图标。

对于表负责人、表所属项目负责人和管理员,支持修改表描述、表负责人、是否推荐表、是否核心表、字段描述、字段标准化标签(需要开启“模型设计中心”产品)、字段枚举值、字段口径等内容。

此外,所有用户都可以收藏表。

如下图,为表详情的页面:

Hive - 图1 2021-08-19-19-55-55.png

2 表详情详细介绍

2.1 顶部区域

顶部区域显示了表名、表描述、推荐和核心表标记、收藏功能、表类型、热度数据(检索、收藏、引用、读取)、自助分析。 Hive - 图3 2021-08-19-20-33-25.png

如下图,为HiveOnKudu的hive表的顶部区域:

Hive - 图5 2021-07-09-11-13-16.png

如下图,为HiveOnHbase的hive表的顶部区域:

Hive - 图7 2021-07-09-11-17-05.png

2.2 左侧信息区

左侧显示了基础信息、业务信息、存储信息。

在基础信息部分,可查看建表语句,在弹框中复制建表语句。也可查看Select查询语句,显示Select语句。

Hive - 图9 2021-08-19-19-51-53.png

如果当前平台有部署“模型设计中心”产品,则在hive表的业务信息中,会显示主题域和表分层。该数据来源于“模型设计中心”产品中,数仓开发对表的设置。

2.3 右侧表信息区

2.3.1 明细信息

2.3.1.1 字段信息

该页签会显示当前表的字段名称、类型、描述等信息,如果归属到了主题域和分层,则还可以显示主键、字段的标准化标签。 Hive - 图11 2021-08-19-19-56-52.png

有编辑权限的成员,也可以对字段设置枚举信息、口径信息,支持批量修改字段描述等。如下图为编辑字段的页面: Hive - 图13 2021-08-19-20-01-06.png

如果当前表为dwd-明细表,则标准化标签会显示维度和度量;如果当前表为dim-维表,则标准化标签会显示维度;如果当前表为dws-汇总表、ads-应用层表,则标准化标签会显示维度和指标,且可显示表级别的“间接关联指标”。如下图,为查看字段的关联指标的弹框:

Hive - 图15 2021-07-07-21-40-22.png

如下图可查看字段关联维度的维度标识,如果有关联的维表,还可点击查看维表详情: Hive - 图17 2021-08-19-20-00-15.png

在字段列表的操作列,也可选择任一字段查看字段血缘,点击“血缘”后会跳转到字段血缘页面,操作入口如下:

Hive - 图19 2021-08-23-18-07-01.png

2.3.1.2 分区信息

如果当前hive表为分区表,则会显示“分区信息”页签,展示表的分区信息。包括各分区的分区名、创建时间、修改时间、记录数、存储空间和文件数等信息,支持对表记录数、存储空间、文件数等进行刷新操作。

Hive - 图21 2021-08-19-20-02-11.png

2.3.1.3 DDL变更

DDL变更列表会记录表的变更历史记录,仅支持查看近3个月的DDL变更,来源包括离线开发的SQL节点和自助分析。变更类型包括新建表、删表、表重命名、新增列、修改列等近十种操作类型,DDL变更列表如下所示:

Hive - 图23 2021-08-19-20-04-25.png

特别功能:对于自助分析和SQL节点中进行删表(不含表名中有“tmp”和“temp”的表)、表重名、表结构替换、字段重命名、修改分区值,如果表有下游,则会通知到表负责人和下游表负责人。

如下图,为表被删除的自动通知邮件:

Hive - 图25 2021-07-09-11-04-59.png

2.3.1.4 读写记录

读写记录可查看近3个月表的读写记录,来源包括离线开发和自助分析的运行,支持展示操作时间、操作人、执行语句等,如下图所示:

Hive - 图27 2021-08-19-20-06-26.png

2.3.2 数据预览

在该页签中,如果当前用户有该表的读权限,则可显示10条预览数据,如果没有权限,则会提示没有权限。

Hive - 图29 2021-07-08-11-54-07.png

2.3.3 产出信息

如果有任务执行,将数据插入到当前表中,则可以在此处显示任务实例信息。目前支持如下场景:

1)离线开发开发模式执行

2)离线开发线上模式执行

3)自助分析执行

4)线上调度实例重跑

5)线上调度任务补数据

6)实时计算平台任务运行

Hive - 图31 2021-07-08-12-11-10.png

2.3.4 数据血缘

“数据血缘”支持表级血缘、字段级血缘(仅Hive字段支持),默认展示表级血缘,可切换关系视图、列表视图2种方式来查看表级血缘,字段级血缘目前仅支持列表视图,具体如下:

1)关系视图

通过DAG图方式展示当前表的上下游表,可逐级向上查看上游血缘,向下查看下游血缘。同时,支持过滤活跃血缘或静默血缘。

支持给下游表负责人发送通知,通知方式支持邮件、企业微信、钉钉等。一般用于当前表存在部分变更需要时,通知下游知晓。

点击画布中的表名区块,会在右侧显示表的基本信息,支持快速前往查看该表的产出信息和下游影响信息。

如下图,为关系视图页面:

Hive - 图33 2021-07-08-13-40-03.png

如下图,为发送通知页面:

Hive - 图35 2021-07-08-16-14-18.png

如下图,为查看“下游影响”页面:

Hive - 图37 2021-07-08-16-13-54.png

2)列表视图

通过列表方式展示当前表的上下游表,可逐级向上查看上游血缘,向下查看下游血缘。

Hive - 图39 2021-07-08-16-17-03.png

3)下游任务

通过列表方式展示实际使用当前表的实例对应的任务信息。

Hive - 图41 2021-07-08-16-19-55.png

4)字段血缘

通过列表方式展示当前各个字段的上下游表及相关字段,可逐级向上查看上游字段血缘,向下查看下游字段血缘。

Hive - 图43 2021-08-19-20-27-32.png

查看字段血缘的页面,也可发起字段粒度的通知,如下图所示: Hive - 图45 2021-08-19-20-38-11.png

2.3.5 使用说明

使用说明模块,可展示当前表的使用说明信息,该信息由表负责人维护。

Hive - 图47 2021-07-09-11-06-19.png