整体说明

资源运维,是项目粒度的产品模块。支持查看项目下各集群队列的资源使用情况,并支持查看队列下的作业的资源消耗情况,且可针对作业提供资源诊断建议。

使用条件:

  • 仅已购买“EasyEagle”产品且版本高于2.0.0的客户环境支持Yarn队列的资源运维功能。
  • 仅已购买“EasyEagle”产品且版本高于2.5.0的客户环境支持Impala队列的资源运维功能

权限说明:
仅项目负责人/项目管理员支持设置报警,仅有实例/查询的终止权限的用户支持终止实例,其余查看类型的操作项目内任意成员均可操作。

功能入口:

资源运维 - 图1

队列列表页

资源运维 - 图2

资源运维 - 图3

tab栏选择集群后,会分别查看归属于该项目-集群的Yarn队列/Impala队列列表及其资源使用情况。

资源运维 - 图4

此外,支持对以下的队列资源使用相关指标设置报警:
Yarn队列:内存使用率、CPU使用率、排队中作业数
Impala队列:内存使用率、排队中作业数

Yarn队列详情页

队列列表页,点击队列名称,跳转至队列详情页。
队列详情页,支持查看该队列的基本信息和当前资源使用情况。

资源运维 - 图5

支持查看指定时间范围内的运行实例列表及其资源使用情况,针对运行中的实例支持终止实例。点击实例ID左侧的展开符,支持查看实例下MR、Spark、SQL(执行引擎为Spark或Hive)节点的资源使用情况,并支持对节点进行资源诊断。

资源运维 - 图6

支持查看该队列的资源监控图。

资源运维 - 图7

Yarn队列资源诊断详情页

资源诊断页,支持查看节点下各application的资源使用情况和诊断结果,针对Spark类节点支持提供内存参数调优建议。

Imapla队列详情页

队列列表页,点击队列名称,跳转至队列详情页。
队列详情页,支持查看该队列的基本信息和当前资源使用情况。

资源运维 - 图8

支持查看指定时间范围的查询列表和队列资源监控,并支持终止查询,以及查看自助分析Query和离线开发SQL节点(执行引擎为Impala)的资源诊断。

资源运维 - 图9

支持查看该队列的资源监控图。

资源运维 - 图10

Impala队列资源诊断详情页

资源诊断页,支持查看查询内逐条SQL语句的执行详细情况、耗时操作、耗时原因和优化建议。 资源运维 - 图11

资源运维 - 图12

2.【项目组中心-集群管理】集群支持“资源运维”

  • 功能说明:
    • 集群列表中,点击操作列的“资源运维”按钮,即可进入该集群的“资源运维”页面。 -“资源运维”页面中,会区分Yarn队列和Impala队列,展示该集群下且归属于当前项目组的队列列表。
    • 队列列表页,支持查看各队列的归属项目、资源配合、资源使用情况和其余队列基础信息。 -点击“查看详情”,可以跳转查看该队列的详情页,了解更详细的队列资源使用情况;点击“修改队列”,可以跳转项目中心,修改队列配额等队列信息。
  • 功能使用注意事项:
    • 仅已购买“EasyEagle”产品且版本高于2.0.0的客户环境支持Yarn队列的资源运维功能。
    • 仅已购买“EasyEagle”产品且版本高于2.5.0的客户环境支持Impala队列的资源运维功能
  • 功能详细使用步骤: