FAQ-任务报错异常请求系统内存不足

问题描述/异常栈

cannot request memory from sysytem

FAQ-任务报错申请内存不足 - 图1

解决方案

1.重跑任务 2.任务错峰 3.增加机器内存

问题原因

在azkaban exec机器查询Current system free memory is 查看报错时间点剩余的内存 计算逻辑 当前剩余内存用的是这四个值的和
FAQ-任务报错申请内存不足 - 图2 有一个单机3G的内存限制,即当前可以内存低于3G后不再给新任务分配,为的是预留给已经在运行的任务,他们可能在运行中需要再分配一些。
FAQ-任务报错申请内存不足 - 图3

可以查看下当时队列资源使用情况,是否有大量等待任务 底层逻辑:azkban启动进程提交到yarn队列执行,执行完成后azkban进程结束释放资源,如果yarn队列资源不足卡在yarn队列等待资源,akzban的任务进程会一直占用资源,导致后面启动的进程无资源可用


作者:常惠渊