1 基础说明

  • 默认开启YARN NodeLabel特性
  • 默认使用CapcityScheduler调度器（容量调度器）

    2 队列资源管理

    1. 进入到Yarn服务后，点击顶部 <资源调度配置> 标签，进入资源调度配置页面 5.1.png 2. 进入到<资源调度配置>页面后，页面如下显示 5.2.png 3. 点击<创建label>标签 5.3.png
  • 填写label名称
  • 填写资源配置。该处可以选择NodeManager实例，表示该label能够访问到的NodeManager实例。
  • 点击确定

4. 点击 标签，进入label情况查看、编辑页面 5.1.png

  • 点击<编辑> 按钮，可以修改创建的label信息 5.2.png 5. 点击<新建资源池>，进入资源池新建页面 5.3.png

从上之下，每个配置项含义：

字段名称 描述
资源池名称 队列名关系
容量 表示该队列占用资源的比例，所有层级相同的队列资源的总和必须等于100%。
最大容量 队列的资源使用上限（百分比）。由于存在资源共享，因此一个队列使用的资源量可能超过其容量，该参数可以设置在[0,100]之间。默认值100
用户最小容量 每个用户最低资源保障（百分比）。默认值100
用户资源因子 每个用户最多可使用的资源量。默认值1
分配 Container 最大内存数量 每个container 的最大可分配的内存值。该值会覆盖yarn.scheduler.maximum-allocation-mb 的值。需要小于整个集群的memory资源，默认值：8192
Container最大Vcore 每个container 的最大可分配的CPU，该值会覆盖系统的yarn.scheduler.maximum-allocation-vcore 的值，需要小于整个集群的vcore资源，默认值4
最大应用数 Max-Applications 队列可同时处于活动状态（running和pending状态总和）的最大应用程序数。这是一个强限制，可针对整个集群配置，也可单独针对某个队列配置。默认值10000
最大 AM 比例 AM最多可使用的资源量（百分比）。可用于控制并发活动应用程序的数量。可针对整个集群配置，也可单独针对某个队列配置，默认值10
资源池状态 设置队列状态。可设置RUNNING和STOPPED两种状态，默认值running

5.4.png 之上而下，配置含义：

字段名称 描述
提交访问控制 限定哪些用户/用户组可以向队列提交apps。默认值为，意思无限制
管理访问控制 为该队列设置一个管理员，该管理员可控制队列的所有apps。比如杀死app。默认值是无限制
关联标签 必须建标签，必须关联一个标签
  • 点击确定，成功创建队列 5.5.png
  • 调整队列容量，满足同级队列总容量之和为100%的要求 5.6.png 5.7.png
  • 调整同一个label队列的容量，满足同级队列总容量之和为100%的要求。 5.8.png 6. 点击<同步配置>标签，生效配置 5.9.png 同步完成之后，同步成功会显示: 同步成功，日志字样。 7. 返回YARN服务页面，点击ResourceManager WebUI 5.10.png 在ResourceManager WebUI中点击标签，就可以看到我们的配置已经生效了。 5.11.png