FAQ-Max block location exceeded for split

问题描述/异常栈

Max block location exceeded for split

解决方案

通过以下参数调大默认split上限即可：
set mapreduce.job.max.split.locations=200

问题原因

因为hive sql的中间数据会存放在hive表的路径的default文件夹中,hive任务中间数据产生大量小文件，导致split超过了maxsize，引起了任务失败

作者：焦巍