FAQ-New Memory allocation 1048221 bytes is smaller than the minimum allocation size of 10485

问题描述/异常栈
New Memory allocation 1048221 bytes is smaller than the minimum allocation size of 10485
FAQ - Memory allocation 1048221 bytes is small xxx - 图1
发现版本
hive 211
解决方案
mapreduce.reduce.memory.mb = 8192;
mapreduce.reduce.java.opts = -Xmx6144m;
set mapred.reduce.tasks=10;
问题原因
sql 动态写入分区 1000+（需写入1000+的parquet文件） ，在最后一个mr任务reduce 阶段，只有一个reduce任务，资源为2G +1.5GJVM，每一个parquet文件写入时，需要申请1M大小PoolManager资源，reduce 资源过少，导致任务失败。

作者：林帅