维度建模为解决数据仓库构建中数据驱动规范缺失、架构混乱、协作低效、度量不统一这些核心痛点而生。它旨在将数据仓库的建设从“手工作坊”模式升级为有条理的“标准化工厂”模式

核心概念解读:构建清晰的数据蓝图

为了帮助新手快速理解上手,这里将产品的核心概念与建筑设计进行类比:

主题域:规划数据“功能分区”

类比:如同城市规划中的“住宅区”、“商业区”、“工业区”,主题域是对企业业务数据进行逻辑划分的高层概念,例如“交易域”、“用户域”、“营销域”。

将海量数据按业务主题归类管理,数据架构更加清晰明了,方便数据归属和授权管理。

分层设计:奠定数据“层次结构”

类比:如同建筑的“地基-主体结构-装修”分层建设,数据仓库也需分层处理。 产品预置了行业通用的分层模型:

  • ODS(操作数据层):数据源系统的直接镜像,保留原始数据。
  • DWD(明细数据层):对ODS层数据进行清洗、整合、标准化后形成的干净、一致、高质量的明细数据。此层是数据仓库的核心,强调数据整合与质量。
  • DWS/ADS(汇总数据/应用数据层):基于DWD层,为特定分析场景聚合加工的摘要数据,旨在提升查询性能。
  • DIM(维度表层):存储描述性、相对静态的业务实体信息(如商品目录、客户信息)。

明确每一层的数据职责和加工规范,可以保障数据加工流程的清晰、可追溯和高复用性,避免烟囱式开发。

工单流程:规范数据“变更管理”

类比:任何对建筑结构的设计或修改都需要提交申请、图纸审核与批准。在产品中,所有新建表、修改表结构的行为,均需通过工单发起。

将数据模型的变更过程标准化、流程化。通过内置的规范检测(如命名规范、标准关联)和审批流,可以确保每一次变更都符合既定规范,从源头保障数据质量。

快速上手:开启规范化建模之旅

对于新用户,遵循以下路径可以快速融入规范的数仓建设流程:

第一步:熟悉环境——了解项目规范

在开始设计第一张表之前,请首先访问【模型规范】下的【主题设计】与【分层设计】模块。

关键行动:明确您所负责的业务数据应归属于哪个主题域,以及您的表计划存放在哪个分层。同时,了解各主题域的审批人信息。

第二步:利用标准——提升建模质量与效率

产品深度融合了“数据标准”能力。在设计表字段时,积极关联已定义的数据元。

关键行动:在字段编辑时,通过搜索选择已备案的标准化数据元(如“用户身份证号”),产品将自动填充字段类型、长度、描述等信息,以确保核心业务字段定义在全公司范围内一致。

入门使用指南 - 图1

第三步:发起工单——执行规范化建模

所有表的创建和修改都通过工单完成。

关键行动:

1. 创建工单与配置表信息

操作路径:在【数据表】页面点击“新建表”,或在【工单管理】中点击“新建工单”。

核心配置项:

  • 选择分层与主题归属:这是最重要的两步,决定了后续的校验规则和审批流向。例如,选择 DWD-明细层和 交易域-订单主题。其中主题设计、分层设计详情请见:主题设计分层设计
  • 选择数据源与库:根据业务需求和数据架构,选择目标数据源(如 Hive、StarRocks)和具体的数据库(如 dwd_db)。请注意,可选范围受【分层设计】中“允许建表的库”规则限制。
  • 指定执行人: 申请人:默认为工单创建者自己。 审批人:工单审批通过后,系统将使用审批人的账号权限来执行建表操作。 项目账号(若分层已开启):系统会使用项目共用的高权限账号执行,这是推荐且最安全的方式,能避免个人权限不足的问题。

2. 定义表基本属性

入门使用指南 - 图2

  • 表中文名/描述:清晰、准确地描述表的业务含义,例如“订单事实表(日增量)”。
  • 表名生成: 系统会根据所选的分层、主题域以及【分层设计】中配置的表名规则,自动生成一个建议的表名(如 dwd_trade_ord_di)。 请理解并确认该命名符合规范,通常只需在自动生成的基础上微调即可。
  • 扩展属性:如果管理员在【扩展信息配置】中定义了表的业务属性(如“归属系统”、“业务负责人”),请在此处填写。

入门使用指南 - 图3

3. 核心环节:字段设计

包括三种字段信息配置模式,详情请参考:字段信息配置

  • 添加字段: 您可以通过三种方式高效添加字段: ① 手动添加:逐一手动新建字段。 ② 引用标准导入(强烈推荐):从已备案的“数据元”库中批量选择所需字段(如“订单ID”、“用户ID”)。系统会自动填充字段的英文名、类型、长度和描述,这是保证一致性的最佳实践。 ③ 文本解析导入:直接输入中文字段名(每行一个),系统会尝试自动翻译并生成字段。
  • 字段详细配置: ① 关联标准:为每个字段关联对应的“数据元”。如果手动输入的字段名与某个标准名称匹配,系统会进行推荐。 ② 设置维度/指标:根据字段业务含义,将其标记为“维度”(如商品、时间)或“指标”(如销售额、订单数)。 ③ 设置主键/分区字段:明确指定业务主键和用于数据管理的分区字段(通常是日期字段)。

4. 提交前自查:质量关卡

  • SQL预览:点击此按钮,务必仔细检查系统根据您的配置生成的最终建表SQL语句。确认表名、字段名、类型、注释等是否符合预期,这是避免语法错误和执行失败的最后一道防线。
  • 表名规范检测设置了一个不合理命名表清单模块,该模块会展示被各表分层抓取出来的,但是不符合表命名规则的表,支持excel导出

5. 提交与跟踪

确认无误后,点击“提交”。系统会生成工单号,并自动将其路由到该表所属主题域的审批人处。 您可以在【工单管理】->【与我相关】->【我申请的】中实时查看工单状态(如“待审批”、“已通过”、“被驳回”)。 若工单被驳回,请务必查看审批意见,根据反馈进行修改后再次提交。