任务血缘

实时任务运维详情页支持查看任务内血缘和任务间血缘。

解析规则

  • 此版本仅支持解析使用了 Flink 1.12 或 1.14 版本引擎的 SQL 任务的血缘关系。血缘解析不限制表使用方式,在任务中使用流表、元数据方式或 DDL 方式血缘均可被解析。
  • 当前仅支持展示 MySQL、Oracle、Postgresql、Kudu、TiDB、Elasticsearch、HBase、Redis、Kafka、Pulsar、RocketMQ、Hive、Starrocks、Doris 数据源类型的血缘关系。
  • 使用 DDL 方式时,将按照 DDL 中的数据源连接信息与已登记的数据源进行匹配,若连接信息完全一致,则血缘信息将关联至该数据源。
  • 使用 DDL 方式时,若 connector 配置为 JDBC,则该表将被定义为 MySQL 类型表。
  • 任务血缘在任务提交上线时进行解析上报,不会解析上报未提交上线的任务版本的血缘信息。

血缘展示

任务内血缘:
任务血缘 - 图1

  • 展示任务内的表与表之间的关联关系,节点为表。节点名称按表在任务实际使用时的名称展示,如为流表则展示流库.流表,如为 DDL 则展示 DDL 中定义的表名称,如为元数据开发方式则展示三元组名称。
  • 点击节点可查看节点详情。节点详情中展示实际使用的物理表库名、表名。
  • 支持通过表名进行节点搜索。
  • 当任务为运行中状态时(启动中、运行中、停止中、停止等待中),血缘连线为实线,代表活动血缘;当任务为非运行中状态时,血缘连线为虚线,代表静默血缘。
  • 同一任务中在不同层级多次使用同一张表时,该表节点将出现多次。

任务间血缘:
任务血缘 - 图2

  • 展示任务间的血缘关系,节点为任务,连线为表(实际存在的物理表),主节点为当前任务。
  • 点击节点可查看节点任务详情。
  • 点击连线可查看连线对应的物理表详情,以及该表实际关联的上下游任务和任务中该物理表被使用的方式。
  • 支持通过任务名进行节点搜索。暂不支持通过表名进行连线搜索。支持通过表的数据源类型筛选血缘关系。
  • 当任务为运行中状态时(启动中、运行中、停止中、停止等待中),血缘连线为实线,代表活动血缘;当任务为非运行中状态时,血缘连线为虚线,代表静默血缘。
  • 同一任务最多支持查看3层上下游血缘。层级数量支持根据用户平台性能情况自行在1-5层中配置,如需调整请联系平台运维。

任务血缘支持搜索功能,详情请见任务血缘搜索