Hive
表详情展示——Hive
1 概述
支持展示Hive表的基础信息、业务信息、存储信息、字段信息、分区信息、数据预览、产出信息、数据血缘、读写记录、DDL变更、使用说明等。此外,也有表类型:内部表、外部表,表类别:离线表、分片表、增量表、流表等信息展示。如果Hive是外部表,onkudu或者onHbase,则目前也会展示对应的图标。
对于表负责人、表所属项目负责人和管理员,支持修改表描述、表负责人、是否推荐表、是否核心表、字段描述、字段标准化标签(需要开启“模型设计中心”产品)、字段枚举值、字段口径等内容。
此外,所有用户都可以收藏表。
如下图,为表详情的页面:
2 表详情详细介绍
2.1 顶部区域
顶部区域显示了表名、表描述、推荐和核心表标记、收藏功能、表类型、热度数据(检索、收藏、引用、读取)、自助分析。
如下图,为HiveOnKudu的hive表的顶部区域:
如下图,为HiveOnHbase的hive表的顶部区域:
2.2 左侧信息区
左侧显示了基础信息、业务信息、存储信息。
在基础信息部分,可查看建表语句,在弹框中复制建表语句。也可查看Select查询语句,显示Select语句。
如果当前平台有部署“模型设计中心”产品,则在hive表的业务信息中,会显示主题域和表分层。该数据来源于“模型设计中心”产品中,数仓开发对表的设置。
2.3 右侧表信息区
2.3.1 明细信息
2.3.1.1 字段信息
该页签会显示当前表的字段名称、类型、描述等信息,如果归属到了主题域和分层,则还可以显示主键、字段的标准化标签。
有编辑权限的成员,也可以对字段设置枚举信息、口径信息,支持批量修改字段描述等。如下图为编辑字段的页面:
如果当前表为dwd-明细表,则标准化标签会显示维度和度量;如果当前表为dim-维表,则标准化标签会显示维度;如果当前表为dws-汇总表、ads-应用层表,则标准化标签会显示维度和指标,且可显示表级别的“间接关联指标”。如下图,为查看字段的关联指标的弹框:
如下图可查看字段关联维度的维度标识,如果有关联的维表,还可点击查看维表详情:
在字段列表的操作列,也可选择任一字段查看字段血缘,点击“血缘”后会跳转到字段血缘页面,操作入口如下:
2.3.1.2 分区信息
如果当前hive表为分区表,则会显示“分区信息”页签,展示表的分区信息。包括各分区的分区名、创建时间、修改时间、记录数、存储空间和文件数等信息,支持对表记录数、存储空间、文件数等进行刷新操作。
2.3.1.3 DDL变更
DDL变更列表会记录表的变更历史记录,仅支持查看近3个月的DDL变更,来源包括离线开发的SQL节点和自助分析。变更类型包括新建表、删表、表重命名、新增列、修改列等近十种操作类型,DDL变更列表如下所示:
特别功能:对于自助分析和SQL节点中进行删表(不含表名中有“tmp”和“temp”的表)、表重名、表结构替换、字段重命名、修改分区值,如果表有下游,则会通知到表负责人和下游表负责人。
如下图,为表被删除的自动通知邮件:
2.3.1.4 读写记录
读写记录可查看近3个月表的读写记录,来源包括离线开发和自助分析的运行,支持展示操作时间、操作人、执行语句等,如下图所示:
2.3.2 数据预览
在该页签中,如果当前用户有该表的读权限,则可显示10条预览数据,如果没有权限,则会提示没有权限。
2.3.3 产出信息
如果有任务执行,将数据插入到当前表中,则可以在此处显示任务实例信息。目前支持如下场景:
1)离线开发开发模式执行
2)离线开发线上模式执行
3)自助分析执行
4)线上调度实例重跑
5)线上调度任务补数据
6)实时计算平台任务运行
2.3.4 数据血缘
“数据血缘”支持表级血缘、字段级血缘(仅Hive字段支持),默认展示表级血缘,可切换关系视图、列表视图2种方式来查看表级血缘,字段级血缘目前仅支持列表视图,具体如下:
1)关系视图
通过DAG图方式展示当前表的上下游表,可逐级向上查看上游血缘,向下查看下游血缘。同时,支持过滤活跃血缘或静默血缘。
支持给下游表负责人发送通知,通知方式支持邮件、企业微信、钉钉等。一般用于当前表存在部分变更需要时,通知下游知晓。
点击画布中的表名区块,会在右侧显示表的基本信息,支持快速前往查看该表的产出信息和下游影响信息。
如下图,为关系视图页面:
如下图,为发送通知页面:
如下图,为查看“下游影响”页面:
2)列表视图
通过列表方式展示当前表的上下游表,可逐级向上查看上游血缘,向下查看下游血缘。
3)下游任务
通过列表方式展示实际使用当前表的实例对应的任务信息。
4)字段血缘
通过列表方式展示当前各个字段的上下游表及相关字段,可逐级向上查看上游字段血缘,向下查看下游字段血缘。
查看字段血缘的页面,也可发起字段粒度的通知,如下图所示:
2.3.5 使用说明
使用说明模块,可展示当前表的使用说明信息,该信息由表负责人维护。
以上内容对您是否有帮助?