数据资产中心Hive表引用数计算逻辑

适用模块

数据资产

具体说明

数据资产中心Hive表引用数计算逻辑

使用示例

*数据资产中心 --  资产明细 -- Hive表 **

其中，Hive表的【表引用数】【表访问次数】的具体逻辑如下：

【表引用数】 页面上的解释：当日该表被猛犸上job或query引用的任务个数

    job数（只计线上调度任务）：当日引用到该Hive表的 job个数（非flow数，同一个job多次调度，只计一次）

    query（自助分析）：当日引用到该表的自助分析 query执行次数（同一个query，不去重，多次执行，每次都计数）



【表访问次数】页面上的解释：当日该表被猛犸上job或query访问的次数总和

    job数（只计线上调度任务）：当日引用到该Hive表的 job实例个数（非flow数，同一个job多次调度，每次都计数）

    query（自助分析）：当日引用到该表的自助分析 query执行次数（同一个query，多次执行，每次都计数）


例如:

job数：

    线上调度的一个flow，其中有3个job节点引用到了该Hive表，该flow的调度周期是一天执行5次，那么，该Hive表的【表引用数】为3，【表访问次数】为15；

query数：

    一个用户在自助分析中，有一个query引用到了该Hive表，当天该用户执行了5次这个query，

那么，该Hive表的【表引用数】为5，【表访问次数】为5；

总：综合上诉两种任务，该表最终的【表引用数】为8，【表访问次数】为20

作者：林帅