适用模块

    在内部环境的对接中，经常存在用户因队列资源问题导致任务卡住、停滞、或延迟。而目前的yarn界面仅能查看当时候的max resource和used resource，对夜间凌晨或已过去时间的资源情况的监控无法感知也无法复盘。本篇文章基于目前的EasyEagle监控平台和猛犸平台，介绍如何获取指定队列的资源使用情况以及队列详细信息，以及如何导入hive数仓中进行后续分析。

    使用示例

    1.常规获取资源使用情况的方法（直接查看yarn界面） DEOM-公共环境资源监控 - 图1 DEOM-公共环境资源监控 - 图2 如图，直接展开一个队列查看最大资源和已使用资源的情况。但该方法有局限性，仅使用刚刚提交了一个任务但跑不动，查看当时候也就是此时此刻的资源使用情况。无法查看过去时间段的情况。

    2.查看监控平台的情况（联系猛犸值班或线上运维） 可以联系猛犸值班或者运维查看专用的监控平台，这种方法比较麻烦，没法自助，且数据都是图形化的。自己获取不了。

    3.通过EasyEagle监控平台的接口自助获取数据 【EasyEagle堆外接口文档】： https://docs.popo.netease.com/lingxi/35c362db69f341ba8f3ed7412399223b#1pMf-1660097179333 注：域名为http://hadoop3593.jd.163.org:6009/

    可以使用postman调用查看数据（该种方法需要链接hyvpn，如没有权限请自行申请或查看接下来猛犸的使用方法）

    a.确认连接了hyvpn

    DEOM-公共环境资源监控 - 图3

    b.接下来以用postman查看建德十二ad项目凌晨队列使用情况为例 DEOM-公共环境资源监控 - 图4 DEOM-公共环境资源监控 - 图5 DEOM-公共环境资源监控 - 图6 DEOM-公共环境资源监控 - 图7

    如图所示这样就查询到了ad队列的使用情况【接口信息和参数请查看上面的接口文档链接】

    接下来介绍如何用猛犸获取数据并导入数仓

    首先还是要get接口文档和域名信息 【EasyEagle堆外接口文档】： https://docs.popo.netease.com/lingxi/35c362db69f341ba8f3ed7412399223b#1pMf-1660097179333 注：域名为http://hadoop3593.jd.163.org:6009/ 使用猛犸的好处是直接是机房网调用，不需要hyvpn且可以直接导入hive表中供用户进行分析

    a.在控制台登记api数据源，登记这个域名 DEOM-公共环境资源监控 - 图8

    b.建hive表，由于api返回字段只有一个response，故只需要塞进hive的一个字段就行。注意类型设置为string，即任意建一张表。有一个string字段即可。

    c.建立数据传输任务【猛犸数据传输使用方式请自助学习猛犸用户手册】 DEOM-公共环境资源监控 - 图9 注意，字段映射关系要手动把来源修改为response DEOM-公共环境资源监控 - 图10

    执行传输任务。成功后自助分析查hive表验证数据。 DEOM-公共环境资源监控 - 图11 DEOM-公共环境资源监控 - 图12

    后续如果要进行数据分析，或者提取拆分字段。直接操作这张hive表即可。至此数据获取成功。

    作者：刘思伟 日期：2022-08-11
    版本：v1
    更新：暂无