FAQ-beyond physical/virtual memory limits

更新时间: 2024-03-11 02:53:20 | 阅读 3717

扫码

复制

导出

FAQ-beyond physical/virtual memory limits

FAQ-beyond physical/virtual memory limits

问题描述/异常栈

beyond physical/virtual memory limits

解决方案

通过优化HQL或增加container默认内存参数解决该报错；具体参数为（参数中对应数字需根据实际情况调整）：
-调整container内存参数，参数添加在用户HQL上方  
set mapreduce.map.memory.mb=4096;  
set mapreduce.reduce.memory.mb=8192;  

-调整yarn application master内存  
set yarn.app.mapreduce.am.resource.mb=2048;

或者设置如下

set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx4096m;
set mapreduce.reduce.java.opts=-Xmx4096m;
set mapreduce.reduce.memory.mb=4096;