功能说明

适用模块

数据资产中心

计算公式

1)Application实例级别资源消耗:

CPU/内存消耗:从yarn上分析上采集得到

2)任务实例级别资源消耗:

CPU消耗:sum(VCappi), VCappi表示第i个Application实例的CPU消耗, i表示序号,单位为核*s

内存消耗:sum(MCappi), MCappi表示第i个Application实例的内存消耗, i表示序号,单位为MB*s

3)任务级别资源消耗

CPU消耗:sum(VCtij), VCtij表示第j个任务实例的CPU消耗, i表示序号,单位为核*s

内存消耗:sum(MCtij), MCtij表示第j个任务实例的内存消耗, i表示序号,单位为MB*s

资源消耗计费

成本=CU*3, 3是每个CU每天的单价

CU = 1核4G, 即计算公式:max(CPU消耗/8/3600,内存消耗/8/3600/1024/4)

  • CPU消耗单位为核s, 内存消耗单位为MBs
  • CPU/内存消耗除以8*3600:认为每天的计算高峰期是晚上8小时,这里将其转换为不带时间概念的单位(CPU:核,内存:MB)
  • 内存消耗除以4*1024, 是转换单位,即多少个4G
  • 公式取最大值是内存和CPU消耗总是按最大值进行计费的

存储信息统计

项目计算
select product,sum(cost)3,count(1) from easydasset_test.overview_asset_1d where pt_date = UNIX_TIMESTAMP(DATE_SUB(CURDATE(), INTERVAL 1 DAY)) 1000 and cost > 0 group by product;
项目存储
select product,sum(hdfs_storage_for_innerfile)30.767,sum(cost)3 from easydasset_test.overview_asset_1d where pt_date = UNIX_TIMESTAMP(DATE_SUB(CURDATE(), INTERVAL 1 DAY)) 1000 and hdfs_storage_for_innerfile > 0 group by product;


作者:邓崃翔