元数据注册
元数据注册页面用来管理当前的元数据,支持通过手动的方式添加元数据,也支持通过采集元数据按钮跳转至元数据采集页面进行元数据的周期性采集。此外,该页面还支持批量导入、批量导出、元数据查看以及元数据搜索等功能。当前项目组负责人、项目组管理员以及具备相应权限的用户有操作权限。
添加元数据
在元数据注册页面,点击添加元数据按钮进行元数据的创建。
当前元数据的基础信息共包含两部分表信息和字段信息。
说明:对于元数据需要定义的字段内容可在配置管理 - 注册模板配置事先完成定义。 |
说明:当前元数据注册支持的数据源类型包括:Hive、MySQL、Oracle、DM、Vertica、SQLServer、Greenplum、GaussDB、OceanBase、Doris、TiDB。 |
表信息
表信息包含基础信息、业务信息、技术信息三块内容。
基础信息包括表的名称、负责人、质量评分、资产所属部门等内容。
业务信息包括主题域和业务描述。
技术信息支持通过手动填写或扫描方式获取表的技术信息,根据已扫描的技术信息,用户可忽略或者覆盖原注册内容,扫描获取的信息包括表信息、字段信息。
补充说明:数据源下列可单选任一数据源。
当前扫描内容如下表所示:
字段信息
在字段信息页面,可在左侧字段列表中点击添加字段按钮进行字段的添加。
同样字段设置包括基础信息、业务信息、技术信息三块内容。
基础信息包括字段的名称、类型的设置,支持联动数据元、数据字典、数据质量中心等产品模块。通过设置元数据类型,可指定该字段为基础元数据、指标元数据、标签元数据。
其中,支持对字段进行数据元推荐。系统根据输入的字段中文名称、英文名称、英文全称、等从数据标准获取推荐的数据元列表,以供用户选择。
业务信息包括业务定义、关联指标以及关联标签。如果当前的字段绑定相关的指标,可在此处进行指标的关联;同理如果当前的字段用于标签场景,则可在此处和标签相关联。
技术信息包括字段的数据类型、数据长度、数据精度、数据格式等内容,如果对字段有明确的技术信息要求可在此处进行录入。
其中,取值范围和度量单位信息系统内置选项,同时支持用户手动输入。
取值范围:
度量单位:
配置完成后,点击提交按钮,此时创建的元数据处于新建态。
如果此时由于填写项太多,一时无法填写完成,需要在之后进行补充,可点击保存按钮,保存功能会忽略必填项校验,用户可在之后基于上次保存内容继续编辑,直到填写完成点击提交按钮为止。
原始字典码值设置
在编辑元数据时,可以给字段设置原始字典。原始字典的字典值支持多种输入方式,包括表格式输入、文本粘贴解析、文件导入解析等。下面分别介绍这3种维护字典值的方式:
(1)表格式输入字典值
该种方式下用户手动一条条输入字典的键值对信息,适用与字典值数量较少的场景,如下图所示:
(2)文本解析字典值
该种方式下用户直接将其他地方的键值对信息粘贴复制到文本框里,点击“立即解析”则可以将文本中的键值对信息自动填充到下方表格里。如下图所示:
注意:这里文本解析内容需要符合规范,否则会解析异常,具体规范说明可查看产品上的提示说明。
(3)文件导入字典值
该种方式下用户可上传字典值Excel文件,上传内容需要符合模板要求,如下图所示:
字段关联数据元信息自动填充
(1)功能介绍:
用户在数据标准中维护了数据元的中英文名称、字段类型、数据格式、取值范围等信息后,在元数据管理中对字段关联了该数据元后,需要能将数据元的规范信息能够自动同步到该表的字段上,实现标准信息和元数据信息的打通,保障信息的规范性和一致性。本次优化后,字段关联某数据元后系统会弹框提示相关信息是否需要同步覆盖,勾选确认后即可覆盖标准信息到元数据中。后续若需要再同步更新数据元信息,可以按需点击数据元后的对比按钮来实现信息同步。
(2)操作步骤
第一步:首先在数据标准模块确认已维护并发布数据元
第二步:在元数据注册模块,对表字段进行编辑,将字段关联上对应的数据元,此时系统会弹框提醒用户可选择将数据元中的信息自动填充到当前字段表单中,实现标准信息和元数据信息的打通,保障信息的规范性和一致性。如下图所示:
通过手动方式添加的元数据,此时还没有物理表,系统可以根据元数据注册信息中的表、字段信息自动拼接生成DDL,方便用户查看DDL结构并复制后用于物理建模。如果是已存在物理表的元数据,则点击查看DDL按钮将会从数据库实时获取。
点击查看DDL按钮,显示DDL语句。
对于已注册的元数据可通过元数据列表中的已存在物理表的标识判断是否存在对应的物理表。
批量导入
在元数据管理页面,点击批量导入按钮进入导入页面。
在导入页面,首先可以点击下载模板按钮下载模板,按照模板的要求填写完成后上传并导入即可。
批量导入注意事项:
1)仅支持上传“.xls”“.xlsx”格式文件。
2)批量导入支持新增和覆盖,覆盖要求数据源类型、数据源、库/Schema名、表物理名称都一致。
3)单次导入最多支持2000张表,且文件大小不超过10MB。
导入页面如下所示:
(1)新旧模板说明 之前版本的元数据导入模板中,一张表为一个sheet页,表的数量较多场景下不方便每个sheet中去修改表信息,批量编辑和查看不方便,由此产生了新模板的需求。元数据导入新模板支持所有表汇总在同一个sheet页中,方便对表进行批量编辑和查看,方便定位找到表。从该版本开始,元数据导出结果均在同一张sheet中,为了兼容历史旧模板的数据,导入支持新旧模板。
(2)导入流程说明
上传并导入文件后,系统会解析文件的格式,如格式不符合规范或导入超过系统上限会报错提示;解析若没有问题则进入元数据导入流程。如下图所示:
导入过程中用户可进行其他操作,系统会在右下角实时展示导入进度,如下图所示:
导入成功或导入失败,均可在导入页面查看结果列表。若存在导入失败的元数据,可点击“下载失败列表”查看具体失败的Excel清单。
批量导出
勾选需要导出的元数据,点击批量导出按钮完成元数据的导出。勾选后左下角可展示已勾选条数、取消全部沟通、查看已勾选列表等。
支持用户查看元数据导出记录,点击后进入元数据导出记录列表页,可展示导出进度、导出文件下载等。
元数据目录分类
(1)元数据支持多套分类目录
元数据支持多套分类目录,系统支持切换不同分类目录展示元数据列表。
说明:在配置管理中进行目录配置,配置完成后,可在添加元数据时选择该目录,元数据发布后会归属到选择的目录中。 |
(2)系统支持按业务系统自动归类展示元数据
功能介绍:
- 通常企业登记的MySQL、Oracle等外部数据源归属于各业务系统,用户希望根据数据源对应的业务系统能够自动分类展示元数据。该模块就是为了方便按业务系统来展示元数据表
操作步骤:
第一步:数据源登记填写对应的业务系统信息
第二步:元数据采集选择对应的数据源
第三步:采集完成后可在元数据注册模块查看对应业务系统下的库表列表
查看元数据
点击资产编码可进入元数据详情页面。
在元数据详情页中,支持查看已配置的表信息、字段信息以及版本信息。
版本管理
在版本管理页签中,展示当前的版本变化情况。如果该表的最近一次元数据采集信息与采集前内容有差异,点击查看差异项。
在变更详情当中查看变更情况,变更内容分为字段类型变更、删除字段以及新增字段,根据颜色的不同进行区分。
勾选两个版本可进行版本比对。
对于版本间的不同之处会用红字标识出来。
以上内容对您是否有帮助?