非结构化元数据采集
更新时间: 2026-08-12 17:13:45
阅读 88
功能概述
Easy Data 支持对接 MinIO 对象存储,实现对企业分散存储的非结构化文件(文档、图片、音视频等)的统一采集纳管。通过元数据注册机制,将文件从"只是存着"变为"被定义、被描述、被管理"的数据资产,支持系统默认字段与自定义业务字段的灵活配置。注册后的资产纳入统一资产目录,支持分类浏览与全局搜索,无论文件处于何种状态均可被快速检索定位,实现非结构化数据"采得进、管得住、找得到"。
前置准备
- 目前数据源支持minio
- 数据资产地图的配置管理里面【目录配置】,新增自定义目录,目录支持结构化(还是之前的表)和非结构化(新增的),如果在非结构化元数据注册和采集里面需要选到目录,需要增加目录类型为非结构化
- 标准目录目前只是针对表,和非结构化的目录没有关联


功能介绍
新增注册
新增采集任务
- 基本信息填写:采集任务名称、任务描述和负责人(默认是当前用户)
- 选择采集范围:数据源类型、数据源名称、存储桶(Bucket):一个采集任务只支持选择一个桶、路径:为空则采集整个桶、递归采集子目录:配置是否开启、文件名匹配规则:支持通配符匹配(如:.pdf)、最后修改时间范围的选择
- 采集设置:根据采集类型配置采集周期、告警配置、和是否自动注册(归属目录选择就是目录类型为非结构化的),勾选自动注册,采集之后会在非结构化元数据注册的待发布的状态下,如果未勾选自动注册,不会在非结构化元数据注册地方显示,可以在首页进行搜索。




采集实例监控
查看结果
已经创建完注册,并且完成采集的,可以查看实例 - 查看结果,可以查看变更、未变更、新增。通过对比文件的 ETag 作为主要判据,判断内容是否变更以决定是否重新采集元数据;同时以 LastModified 时间戳作为辅助判据,快速筛除未变更文件,提升增量采集效率



查看日志
已经创建完注册,并且完成采集的,可以查看实例 - 查看日志

文档反馈
以上内容对您是否有帮助?