FAQ - 任务调度成功无数据以及分区生成
更新时间: 2024-03-11 02:44:54
阅读 591
FAQ - 任务调度成功无数据以及分区生成
问题描述/异常栈
多表join动态分区写入下游表,用户开启了hive.auto.convert.join=true;任务调度调度成功,对应分区未生成,数据未写入发现版本
hive 2.3.8解决方案
set hive.auto.convert.join=false问题原因
庄宇翔:用户显式设置参数 set hive.auto.convert.join=true ;
当map输入数据较小时会开启mapjoin任务提高执行效率。
但升级Hive2.3.8版本后,如果sql中有union all,可能导致数据产出为空。
用户sql中有union all,导致数据产出为空,进而导致下游任务使用当前任务产出的表执行动态分区插入时,因为没有数据,所以没有创建分区。
作者:林帅
文档反馈
以上内容对您是否有帮助?