产品矩阵

数据开发及管理平台包含组件如下：

• 指标系统：

  依托离线开发中心，是指标的统一入口。通过定义原子、派生和复合指标，明确指标业务口径和技术口径，解决指标定义不一致、口径不一致和数据来源不一致的问题，实现规范定义，助力数据模型规范设计。

• 数据标准：

  是指保障数据定义和使用的一致性、准确性和完整性的规范性约束，本产品以数据元及数据字典为载体，定义了数据的类型、格式、值域、表示等描述项，并建立了完善的标准流程管理机制。具体包含数据元管理、数据字典管理、标准审核、标准发布、我的申请模块。

• 模型设计中心：

  提供组织数据、刻画数据、规范约束、效果衡量等能力，用于实现数仓的规范化建模，同时指引数仓建设的方向。支持主题域、表分层、字典集、设计规则、维度、度量等模块的管理，支持数仓建设数据大屏展示。

• 数据传输：

  主要用于多种异构数据源之间的数据交换，可实现各部门业务数据在应用层面的互联互通和信息共享。数据传输采用分布式的架构，可以从容应对大数据量的数据传输需求。

• 自助分析：

  是数据开发人员进行数据自助探查数据的场所，可方便快捷的执行自定义的SQL语句操作，如Hive、Doris、MySQL、Oracle、ClickHouse等数据源的表，也能够实现语句分享、代码共享等。

• 离线开发：

  是有数数据生产力平台的基础产品，提供大规模数据存储与计算能力。可选择搭载其它有数产品，完成数据集成、数据研发、数据治理、数据服务等功能，灵活满足客户的各类场景。

• 任务运维中心：

  辅助任务运维人员进行离线任务管理和实例运维的工作，提高运维效率，及时发现问题并提供诊断建议，为运维团队提供任务评估。

• 数据质量中心：

  通过事前定义监控规则、事中监控数据的生成过程以及事后评估和问题追溯，围绕完整性、一致性、准确性、有效性和及时性五个方面衡量数据质量，依托离线开发中心的数据质量配置，提升企业数据价值。

• 数据测试中心：

  提供Hive表的形态探查和数据比对功能。形态探查可帮助用户发现数据潜在问题，比如主键唯一性、字段空值等；数据比对可帮助用户进行两个表之间字段级别的比较。

• 数据地图：

  在元数据基础上提供的统一数据查询服务，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据管理等功能，帮助用户更好地查找、理解和使用数据。

• 数据资产中心：

  数仓界的360，可以定量评估数据资产的成本、价值、质量，帮助企业优化存储成本、节约计算资源。精细化的数据生命周期管理，帮助企业更好的管理数据从生产到销毁的整个过程。

• 数据服务：

  提供快速将数据表生成API以及对已有的API进行注册管理的能力。数据服务通过应用授权，供外部应用系统调用API获取数据，支持API的策略配置，对API进行统一管理和发布。

• 安全中心：

  统一的功能权限管理，控制中台子产品的使用权限。对于Hive表提供库、表、列级别的权限控制。提供动态脱敏能力，对返回的结果进行脱敏处理。

产品协同

大数据开发的环节众多，而平台的十余个子产品，则分别用于完成大数据开发的各个环节的工作。有数大数据平台，总结出了典型的6大使用阶段：需求输入、数据准备、模型设计、模型开发、质量控制、需求交付，如图2所示。

产品使用阶段