EasyMetahub

一、简介

元数据中心整体提供HTTP/RPC接口对外服务，主要后台主要分为以下几个模块

血缘：通过Kafka收集猛犸、Zeppelin、执行服务（wizard）发送过来的数据写入、读取、以及相关任务信息，统计输出生成数据血缘信息、使用统计信息

数据源管理： 提供元数据增删改查操作，针对有schema中间件，以适配器的模式，对不同数据源开发不同的适配器操作元数据，针对无schema的存储中间件，使用内嵌元数据模块Nest来映射相关存储信息

搜索： 提供元数据搜索服务，对表数据进行关键词抽取、标签化管理，然后利用ElasticSearch构建索引，对外提供搜索服务

标签管理：提供各类数据源、库、表、列等标签信息的写入、查询等管理能力。

DDL：监控表级别的操作，对于操作进行分类处理，例如针对删表进行报警等。

二、依赖