针对用户的历史数据和新增数据,结合数据治理理念以及产品功能我们给出了不同的流程和解决方案。

为了更好的说明流程,这里我们先给出了对元数据分类的定义,元数据类型可以分为技术元数据业务元数据以及管理元数据。如下图所示:

元数据发布流程 - 图1

说明:对于元数据中的每种分类是否要包含上述这些条目,可根据实际情况在注册模板中进行配置。

历史数据发布流程


对于存量的历史数据,可能来源于业务数据库例如MySQL、Oracle中,也有可能来源于数仓例如Hive中。针对这类数据,首先数据治理管理员根据治理需求向IT部门发起登记数据源操作,数据源可来源不同的业务源系统。登记数据源后就可进行元数据采集、元数据注册,元数据注册后根据数据的完善度来决定是否需要治理,最终数据发布为资产供业务人员浏览和使用。整个治理流程如下图所示:
元数据发布流程 - 图2

新增数据发布流程


对于新增数据的治理,主要包括元数据的注册、治理、审批、发布、使用这几个步骤。首先需要进行元数据的注册,注册后经过业务治理专员或者技术治理专员不断完善业务/技术元数据信息,由申请人提交发布申请,最终由数据治理管理员审核发布。发布后的数据资产可提供给业务人员浏览和使用。如在使用过程中发现有数据问题,也可再次发起数据治理或者数据下线。整体流程图如下所示:
元数据发布流程 - 图3