“数仓配置-分层配置”

分层是对数仓团队的表进行组织管理的另一个维度。对于数仓建设而言,从数据源中接入源头数据后,需要按照一定的规则,划分不同的层次来组织承载不同功能和定位的数据表。

如下图所示为分层配置的页面,目前系统预置了ods-原数据层、dwd-明细层、dim-维表、map-桥阶层、dws-汇总层、ads-应用层,共6个分层。数仓管理者可根据自身团队的规划,进行分层配置。如果不是很确定需要如何配置分层,则可使用所有系统预置的分层。

“数仓配置-分层配置” - 图1 2021-06-30-19-39-04.png

每个分层,支持进行“选择控制”的设置。通过选择设置当前项目组中项目下的角色,能实现在创建建表工单中,只有这些角色中的人员才能选择该分层。该配置一般用于将不同的分层分配给不同的团队或部门维护。不设置,则所有人都可以选择。

每个分层,可设置表抓取规则,设置后系统会定时把符合规则的表抓取并显示在“主题域”的“未分组(系统)”中。在未分组中,将显示所有被抓取,且未设置主题域的表。此外,“数仓建设概览”页面中的数据,也依赖于该抓取规则的设置。

每个分层,支持设置该分层只能在哪些数据库中创建表。比如设置维表(dim)层,只能在“dim”这个数据库下创建表,则用户在“创建建表工单”中,表分层选择“dim-维表”时,如果用户有dim库的建表权限,则可以选择“dim”,如果没有,则不能继续建表。这种限制可以保证有权限的用户在数仓规定的数据库内创建对应的分层的表。

数仓管理者也可设置各层是否自动审批,对于“表设计工单管理”中选择了创建该层表的工单,会按照配置是否完成自动审批。

如果某个分层,满足以下两个条件: 1)未开启自动审批; 2)设置了允许建表的库。

则允许开启“项目权限建表”功能。开启后,用户在“创建建表工单”中,选择表的所属库时,可以选择所在项目下与“允许建表的库”一致的库(即时用户本身没有该库的建表权限),工单审批者在工单详情页也会查看到“项目权限建表”的提醒。

“项目权限建表”功能,主要针对需要约束开发人员的建表权限,防止开发人员在“自助分析”页面中建表,而不通过EasyDesign走建表工单的问题。比如数仓管理者设置了“dwd-明细层”仅能在dwd库下建表,用户user1无dwd库的建表权限,则用户如果需要在dwd库下创建明细表,则在自助分析下建表就会失败,但是可以通过模型设计中心创建工单,由审批人员来审批通过后实现。