元数据采集页面支持采集任务的创建以及采集实例监控的管理。项目组负责人、项目组管理员以及具有采集任务和采集任务实例功能权限的用户支持在该页面中进行操作。

说明:当前元数据采集数据源类型支持Hive、MySQL、Oracle、DM、Vertica、SQLServer、Greenplum、Kudu、HBase、OceanBase、Doris、TiDB。

采集任务管理

采集任务管理页面支持采集任务的新建、删除和编辑操作。

新建采集任务步骤如下:

  • 采集任务管理页面,点击新建采集任务按钮。
    元数据采集 - 图1

  • 第一步:填写任务的基本信息,包括采集任务名称、任务描述、任务分组、负责人。
    元数据采集 - 图2

  • 第二步:在选择采集范围步骤中完成表的圈选。
    元数据采集 - 图3

  • 第三步:设置采集周期、告警配置、元数据注册配置等。采集类型包括定时采集和手工采集两种,定时采集支持采集周期设置,当前支持小时、天、周;手工采集只采集一次支持立即采集和自定义时间采集。 元数据注册配置包括是否开启自动注册、设置归属目录、采集配置、元数据更新策略等
    元数据采集 - 图4

创建完成后的任务可在任务列表中查看,如果是定时采集的任务,则支持调度的暂停和恢复操作。
元数据采集 - 图5

采集实例监控

采集实例监控页面支持查看已经生成的实例的状态,点击查看结果按钮可查看表的采集结果,在表的采集结果里面展示变更表未变更表
元数据采集 - 图6

采集报告

元数据采集后,可以通过采集报告来查看某段时间内的采集任务实例数、采集业务系统数、采集表总数、采集变更表总数及其明细等。通过采集报告可以让用户了解采集的情况,并且根据变更的表明细来通知相关人员评估变更影响等。进入元数据采集模块,点击查看采集报告即可,如下图所示:
元数据采集 - 图7

注意事项:

  • 功能初次上线,历史数据可能会展示空,只要经过一段时间运行就能正常统计采集的数据情况
  • 有元数据采集任务或者实例权限的用户,才能查看采集报告

附录:元数据采集内容

当前元数据采集内容如下表所示:
元数据采集 - 图8