功能概述

Easy Data 支持对接 MinIO 对象存储,实现对企业分散存储的非结构化文件(文档、图片、音视频等)的统一采集纳管。通过元数据注册机制,将文件从"只是存着"变为"被定义、被描述、被管理"的数据资产,支持系统默认字段与自定义业务字段的灵活配置。注册后的资产纳入统一资产目录,支持分类浏览与全局搜索,无论文件处于何种状态均可被快速检索定位,实现非结构化数据"采得进、管得住、找得到"。

前置准备

  • 目前数据源支持minio
  • 数据资产地图的配置管理里面【目录配置】,新增自定义目录,目录支持结构化(还是之前的表)和非结构化(新增的),如果在非结构化元数据注册和采集里面需要选到目录,需要增加目录类型为非结构化
  • 标准目录目前只是针对表,和非结构化的目录没有关联

非结构化元数据采集 - 图1

非结构化元数据采集 - 图2

功能介绍

新增注册

新增采集任务

  • 基本信息填写:采集任务名称、任务描述和负责人(默认是当前用户)
  • 选择采集范围:数据源类型、数据源名称、存储桶(Bucket):一个采集任务只支持选择一个桶、路径:为空则采集整个桶、递归采集子目录:配置是否开启、文件名匹配规则:支持通配符匹配(如:.pdf)、最后修改时间范围的选择
  • 采集设置:根据采集类型配置采集周期、告警配置、和是否自动注册(归属目录选择就是目录类型为非结构化的),勾选自动注册,采集之后会在非结构化元数据注册的待发布的状态下,如果未勾选自动注册,不会在非结构化元数据注册地方显示,可以在首页进行搜索。

非结构化元数据采集 - 图3

非结构化元数据采集 - 图4

非结构化元数据采集 - 图5

非结构化元数据采集 - 图6

采集实例监控

查看结果

已经创建完注册,并且完成采集的,可以查看实例 - 查看结果,可以查看变更、未变更、新增。通过对比文件的 ETag 作为主要判据,判断内容是否变更以决定是否重新采集元数据;同时以 LastModified 时间戳作为辅助判据,快速筛除未变更文件,提升增量采集效率

非结构化元数据采集 - 图7

非结构化元数据采集 - 图8

非结构化元数据采集 - 图9

查看日志

已经创建完注册,并且完成采集的,可以查看实例 - 查看日志

非结构化元数据采集 - 图10