模型设计
模型构建流程图:
说明: 1. 模型配置一般会在项目初期由数据团队负责人进行统一的规范定义,因此并非每次建表时都要操作。 2. 本实验以ods层和dwd层表作为例子,因此在做表名的规范设计时只考虑该两层,且会使用无度量模式即dwd层可关联指标而非度量,实际情况根据客户使用习惯决定。 3. 这里的权限主要为数据权限,即有某一hive库的建表权限。 |
构建ods层及dwd层表信息如下:
数仓规范定义
步骤一:设置主题域
主题域名称同指标域名称:
进入数仓配置页面,在主题域配置中点击新建主题域按钮进行创建。
步骤二:设置子主题
在主题域页面,点击交易域名称旁的“+”创建子主题,子主题域名称同二级指标域。
步骤三:分层配置
由于ods和dwd都是预置分层,因此不需要创建,但是需要注意的是在允许建表的库一栏中要保证用户自己有建表的库在这个范围里,否则将无法在该层建表。
步骤四:表设计规则配置
此处主要是对表名规范的设置,ods层表名的格式为ods+主题域英文缩写+自定义表名,dwd层表名的格式为dwd+主题域英文缩写+自定义表名。
ods表名规范设置如下:
dwd层表名规范设置如下:
此外,还需要确认是否强制分区设置关闭(本实验中希望自行选择是否配置分区)。
步骤五:开启无度量模式(可选)
如果已经开启无度量模式,那么在模型设计中心页面看不到度量。如果未开启,可在默认项配置页面打开。
表设计
由于ods表是直接从MySQL同步至Hive,因此表结构无变化。
ods_trade_usertable:
ods_trade_ordertable:
dwd表为两张ods表做join操作所得,因此dwd_trade_user_order表结构如下:
步骤一:创建建表工单
在与我相关页面,点击创建建表工单按钮,进入新建页面。
步骤二:配置表名
在表名配置阶段,根据之前设计进行内容填写。
配置完成后点击下一步。
步骤三:选择表单模式,进入基础属性及字段配置页面进行配置
此处配置分几种情况:
第一种,如果是手动填入字段可直接输入。
第二种,如果是关联数据元,则选择数据元及数据字典,如手机号码。
字段的信息会根据数据元自动填入。
此处还可以对有枚举值的字段进行补充说明,将枚举项填入枚举值这列中。
第三种,如果是有标准化标签,比如说指标、度量、维度这种,那么可直接引用它们,因为ods不涉及这些,放在dwd中介绍。
步骤四:其它配置使用默认项,点击提交后进入工单审批页面,完成审批即创建完成
审批建表工单:
步骤五:重复上述步骤完成表ods_trade_ordertable和表dwd_trade_user_order的创建
ods_trade_ordertable:
dwd_trade_user_order:
需要注意的是payment这个字段可选择标准化标签中的指标。
步骤六:配置完成后,在主题域中可查看域下的三张表,点击表名可跳转至数据地图查看表详情
ods_trade_usertable表详情页面:
ods_trade_ordertable表详情页面:
dwd_trade_user_order表详情页面:
以上内容对您是否有帮助?