该页面提供对Hive表新建和修改的功能,通过工单的形式完成表的新建和修改,可实现线上化的规范建模。
表设计工单管理包括与我相关全部两部分,用于展示创建表工单和修改表工单。此外,与我相关页面还提供了未提交待审批被驳回待我审批已通过五个页签,当前用户可在不同页签下查看和处理工单。

创建建表工单


通过创建建表工单,可进行表的创建,分为四个步骤,如下:

  1. 表的分层、归属库以及主题归属的配置;
  2. 表名配置;
  3. 表的字段名称、类型、描述、主键、字段标准化标签(维度、度量、指标)的配置;
  4. 表的属性配置,比如是否核心表、是否Impala同步、表类型(内部表和外部表)、存储格式等。

表的分层、归属库以及主题归属的配置


对于数仓开发人员而言,首先需要明确当前建表操作需要构建哪一分层的表,该表应当归属到哪个主题,应当在哪个库下建表。可通过查看分层和炫酷说明查看各分层的设置。

配置参数 说明
表分层 选择需要表所属的分层,用户只能选择有权限建表的分层。
数据源类型 当前支持Hive、MySQL、Oracle、Greenplum、Vertica。
数据源 选择已登记的数据源。
选择表所属的数据库,用户只能选择有权限建表的库。
主题归属 1. 展示当前用户可选择的主题及其子主题,且选择时需要选择到末级主题。
2. 对于没有子主题的主题域,会置灰不可选择。
3. 如果某个主题域或子主题设置了选择控制,仅允许部分角色可选择,则在下拉列表中不会显示该类主题域或子主题。
说明:
1. 在设置表的主题归属模式上,不同分层的设置方式不同。dim-维表层需通过选择关联维度来获取维度所属的主题域,并作为表的主题归属。
2. 对于非dim层,可通过直接选择一个或多个主题域下的子主题(不能直接归属到主题域)。

表基本属性配置


表基本属性配置主要是对表名进行配置。系统支持事先定义表名的拼接规则,可在表设计规则管理页面对各分层的命名规则进行定义。定义了表名规则之后,进行建表时,表名必须按照该分层的表名拼接规则来进行,从而实现表名规范的落地。

表设计工单管理 - 图1

表扩展属性配置(可选)


如果在扩展信息配置页面添加了表扩展属性,可在此处进行相应的配置。
表设计工单管理 - 图2

建表时进行配置:
表设计工单管理 - 图3

表字段信息配置


表字段信息配置共有三种模式:表单模式SQL模式以及DML模式

说明: 当前只有Hive表的创建支持上述三种模式,MySQL、Vertica等外部数据源在建表时只支持表单模式
  • 表单模式:
    该模式下,用户需要设置字段名称、选择字段类型、设置描述、设置表主键、标准化标签等。其中,不同的分层可配置的标准化标签信息如下:
分层名称 可配置项
dim-维表 可配置维度。
map-桥阶层 可配置维度。
dwd-明细层 可配置维度和度量。
dws-汇总层、ads-应用层、自定义分层 1. 可配置维度和指标。
2. 可添加间接关联指标,如添加可通过表的已关联的指标计算得到的指标。
说明:
1. 除dwd-明细层中多个字段可配置到相同的维度外,其它层中所有的维度、度量、指标均只可关联一次。
2. 针对可关联到维度指标的字段,可通过先选择维度指标的方式,来将对应的维度英文标识或指标标识填充到字段名称中,从而实现更快捷的字段名称的命名,也能将一些命名规范落地到表的设计当中。如果字段名称已经设置,也可以通过字段名称辅助设置功能来替换已有的命名。

当前数据标准已和模型设计中心进行对接,在字段设置时支持添加已创建的数据元作为字段,例如在此处选择证件类型,选择完毕后自动填入证件类型的英文全称作为字段名称,可点击标准化信息快速定位到数据元和数据字典所在列。
表设计工单管理 - 图4

如果在表设计规则管理中设置了字段附加列配置,则在此处会显示附加的字段,根据要求进行配置。如果当前字段是枚举字段,则可以在枚举值一栏中输入枚举项,后续均可在数据地图界面查看。点击扩展属性可快速定位到枚举值和来源表所在列。

表设计工单管理 - 图5

  • SQL模式:

在SQL模式下,目前支持Hive和Impala两种引擎,并提供了建表模板。完成DDL创建之后,单击生成表结构按钮,会进入到字段信息配置页面,页面配置项基本和表单模式下的一致。
表设计工单管理 - 图6

  • DML模式:
    DML模式下可以通过创建DML的方式来生成最终的表、字段及DML语句。通过DML模式创建的表,可以直接复制DML语句在离线开发中创建任务使用。
    DML模式通过完成表之间相互关联的方式(有left outer join、left semi join、join三种表连接方式)完成DML语句的构造。
    表设计工单管理 - 图7

表的属性配置


表的属性配置包括业务属性配置基础属性配置
业务属性配置主要是指是否开启核心表推荐表标记:

  • 核心表:开启该功能后,表会被标记为核心表,在表名旁边显示图标表设计工单管理 - 图8
  • 推荐表:开启该功能后,表会被标记为推荐表,在表名旁边显示图标表设计工单管理 - 图9

基础属性配置是对表的基础属性进行配置,该配置信息的默认数据来源于表设计规则管理中对每个分层的建表默认项设置。

配置完上述四个步骤后,即可提交工单。如果工单的所属分层配置了自动审批,则系统会自动通过工单并开始建表。如果未设置自动审批,则该表的所属主题审批人会接收到创建表工单申请,审批者审批通过后,系统会自动进行建表。

完成建表后,表将会在主题域页面中对应的分层和主题下出现。同时,在数据地图产品的数仓表导引页面中,也会同步显示该表。

批量导入


当前,批量上传建表分为两种创建方式,主要针对新建表和表迁移两种场景。
表设计工单管理 - 图10

说明:当前批量上传建表只支持Hive。创建表工单模板单次支持上传10张表。综合表工单模板单次支持上传50张表。

创建表工单模板


创建表工单模板仅用于创建表工单,不同分层的表存放在不同的表格中,需要通过下载xls模板,并根据要求填写模板内容,然后上传附件,系统则会自动解析其中内容。解析到的每个库表都会生成一条记录,用户可以预览这些记录的详情,系统会自动扫描其相关信息。如果没有异常,用户可以选择提交工单。工单提交后,会和原来的直接创建工单的方式一样,生成一个工单记录。之后,用户可以将任务提交上线,进而开始工单的审批流转。

  • 首先,点击下载模板按钮下载配置模板,模板会根据当前的数仓配置生成相应的填写内容。
    表设计工单管理 - 图11

  • 然后,在模板中填写要创建的表的信息,填写后通过上传文件按钮进行上传,解析成功后点击下一步。
    表设计工单管理 - 图12

  • 确认数据源映射关系,如无问题则点击下一步。
    表设计工单管理 - 图13

  • 在解析结果页面,支持通过预览操作进行导入表的前置检测,反馈异常内容。
    表设计工单管理 - 图14

  • 如果当前的工单存在异常,通过点击编辑按钮进行编辑。
    表设计工单管理 - 图15

  • 编辑完成后,提交工单,此时工单处于已创建状态,导入完成。
    表设计工单管理 - 图16

  • 待我审批页面,完成审批,表创建完成。
    表设计工单管理 - 图17

综合表工单模板


综合表工单模板支持根据表的实际情况创建表工单及修改表工单,需要注意的是该功能可配合批量导出一起使用用于模型迁移。其导入的操作步骤同创建表工单模板,通过这种方式进行导入,如果导入的字段引用了指标、维度、数据元等内容,需要事先完成创建。

如下图所示,导入表的某一字段关联的指标不存在,进行待创建工单预览时给出指标不存在提示:
表设计工单管理 - 图18

如果导入的表未发生变化,则会出现在无法修改的表页签中,可点击删除按钮,将重复的表从模板中进行删除。
表设计工单管理 - 图19

创建修改表工单


与我相关页面的右上方,点击修改表按钮可进入创建修改表工单。当前仅能修改自己有修改权限的表,有主题归属的会走审批流程,无主题归属的表系统会自动进行审批。

首先配置需要修改的表,配置完成后,界面会跳出级联更新的按钮,关于级联更新功能指的是在执行新增字段操作时,是否执行级联。具体情况如下:

  • 对于分区表,开启级联更新表示会级联更新已有分区中的元数据;
  • 对于分区表,关闭级联更新表示不级联更新,后续只会更新新生成的分区的新增字段。对于分区量非常多的表,不建议开启。

当前支持修改表的字段描述、标准化标签、数据元、数据字典等内容,同时也支持字段的添加。
表设计工单管理 - 图20

当字段的描述项过多时,支持通过区块导引进行快速定位。
表设计工单管理 - 图21

对于修改完成的表进行提交后,会进入审批流程,在表工单审理流程中,支持点击查看DDL了解表的更改内容。
表设计工单管理 - 图22

不合理命名表清单


表设计工单管理设置了一个不合理命名表清单模块,该模块会展示被各表分层抓取出来的,但是不符合表命名规则的表,支持excel导出。数仓开发人员可根据该模块提供的信息进行表的治理。