成本分析-存储分析

成本分析下的存储分析分为四个功能模块,分别为:Hive表详情、推荐下线表、生命周期诊断和目录分析。(页面改版在数据资产的v2.0.5版本支持,若页面结构不一致,则需升级至对应版本)

1、Hive表详情

成本分析-存储分析 - 图1 2021-08-27-11-39-06.png

在当前项目下,针对表总数、表总存储、净新增表数量、净新增表存储量和修改表数量、访问表数量均进行了数量统计,可以一目了然的对项目下的资产进行了解。

在表总数Tab下,下面同时展示近30天的表趋势图和表所属主题域的Top5,点击”查看详情”,还可以查看详细的库表的访问次数。

成本分析-存储分析 - 图3 2021-08-27-11-39-31.png

在表总存储Tab下,可以查看近30日表存储量的趋势图,右侧也会有表存储的top5,点击”查看详情”,可以查看每张表的存储量。

成本分析-存储分析 - 图5 2021-08-27-11-39-49.png

在净新增表数量Tab下,会展示净新增表趋势、新增表趋势和删除表趋势的近30日表数量的折线图,且对新增表所属主题域Top也进行了汇总,点击”查看详情”,可查看新增表所属的主题域和表分层的具体内容。

成本分析-存储分析 - 图7 2021-08-27-11-40-12.png

在净新增表存储量Tab下,展示净新增表趋势、新增表趋势和删除表趋势的近30日表存储的折线图,对新增表存储Top也进行了汇总,点击”查看详情”,支持弹窗查看表归属的主题域和表分层以及存储量等信息。

成本分析-存储分析 - 图92021-08-27-11-40-39.png

在修改表Tab下,展示近30日表数量和修改表次数的折线图,右侧也会展示表修改次数Top5,点击”查看详情”,可了解每张表的修改次数。

成本分析-存储分析 - 图11 2021-08-27-11-40-58.png

在访问表数量Tab下,展示近30日表数量和表访问次数的折线图,右侧汇总展示表访问次数Top5,点击”查看详情”,可查看每张表的访问次数。

成本分析-存储分析 - 图13 2021-08-27-11-41-14.png

在Hive表详情功能模块下方,有Hive表详情列表,支持根据库名、表类型、负责人等快速筛选定位,列表展示表新增存储量、表生命周期、分区生命周期、新增文件数等详细内容,在列表中,支持批量选择,可修改表负责人(只有当前项目管理员/负责人和表负责人才可修改,其他角色功能键置灰)。

2、推荐下线表

成本分析-存储分析 - 图15 2021-08-27-11-41-31.png

成本分析-存储分析 - 图17 2021-08-27-11-41-44.png

成本分析-存储分析 - 图19 2021-08-27-11-41-56.png

确认下线或加入白名单操作只有项目管理员/负责人或者表负责人有操作权限。

序号 功能 说明
1 下线表趋势图 展现当前项目下,近30日推荐下线表和确认下线表的数量趋势图
2 推荐下线表占比 统计当前项目下,推荐下线表数量和存储的占比
3 确认下线 点击确认下线后,后台会对该表数据进行删除操作,默认会先移入灰度空间,7天之后正式清空
4 加入白名单 若表虽满足推荐下线,但仍需要保存,可加入白名单,加入白名单的表不会再被推荐
5 表头过滤 可以设置部分字段不在列表中展示或全部在列表中展示
6 下载 支持csv或者txt格式下载推荐下线表的列表内容

2.1 白名单资源

成本分析-存储分析 - 图21 2021-08-27-11-42-14.png

在表分析的推荐下线表模块,若表虽然属于推荐下线表,但数据比较重要,不做下线操作,可将表加入白名单,加入白名单的表将不再被推荐,加入白名单的表会在”白名单列表”中呈现,项目管理员/负责人和表负责人有权利将表移出白名单。

2.2 下线失败表清单

成本分析-存储分析 - 图23 2021-08-27-11-43-03.png

在推荐下线表中,若操作确认下线,对于下线失败的表,提供列表查看,展示下线失败的具体的表和失败原因等内容。

3、生命周期诊断

成本分析-存储分析 - 图25 2021-08-27-11-44-10.png

成本分析-存储分析 - 图27 2021-08-27-11-44-22.png

对于表设置生命周期,项目管理员/负责人对当前项目下所有表均有权限,其他角色,只有表负责人对自己的表有权限设置。

序号 功能 说明
1 下线存储量趋势 当前项目下,因生命周期到期而下线的表和分区存储量的趋势图
2 生命周期时间分布 当前项目下,表和分区的生命周期时间分布图,若均设置生命周期,则周期=Min(表生命周期,分区生命周期)
3 下载 支持csv或者txt格式下载推荐下线表的列表内容
4 设置生命周期 支持对内部表或外部表设置或修改生命周期,对于外部表,提供是否删除目录文件的选择项
5 表头过滤 可以设置部分字段不在列表中展示或全部在列表中展示

4、目录分析

在目录分析功能模块,支持查看存储总量和日净增存储量相关内容。

成本分析-存储分析 - 图29 2021-08-27-11-44-56.png

在存储总量Tab下,左侧展示最近30天,当前项目下数据存储量变化趋势,右侧展示当前项目下,最新一次统计的数据存储量排名前5的目录,点击”查看详情”,可查看目录具体的存储内容。

成本分析-存储分析 - 图31 2021-08-27-11-45-08.png

在日净增存储量(当前项目下,最新一次统计的净增数据存储量)Tab下,左侧展示最近30天,当前项目下净增数据存储量变化趋势,右侧展示当前项目下,最新一次统计的近30天净增数据存储量排名前5的目录,点击”查看详情”,可查看目录具体的存储内容。