问题描述

问题描述/异常栈

HQL或MR任务长时间无法结束或进度卡在reduce阶段99%

解决方案

1、排查语句是否存在笛卡尔积(多表关联漏写ON关联条件)；  
2、排查用于关联的字段是否存在较多重复值(ON关联条件)； 
3、排查用于分组的字段中是否存在较大重复值(GROUP BY语句)；

问题原因

该问题一般为数据倾斜导致，即用户数据中用来关联或分组的字段中存在大量重复值或任务出现笛卡尔积导致

作者：焦巍