GC overhead limit exceeded

问题描述/异常栈

GC overhead limit exceeded

解决方案

可通过优化HQL、增加container内存或调整java opts参数解决该报错；具体参数为：
-调整container内存参数  
set mapreduce.map.memory.mb=4096;  
set mapreduce.reduce.memory.mb=8192;  

-调整java opts参数  
set mapreduce.map.java.opts=-Xmx7200m;  
set mapreduce.reducce.java.opts=-Xmx7200m;  

客户端堆内存溢出，需调整hive配置文件hive-config.sh  
export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-256}

问题原因

MR任务虚拟机堆内存过小导致的GC内存溢出

作者：林帅