FAQ-spark并发补数据分区数据为空

问题描述/异常栈

并发补数据不同分区，偶现某个分区文件为空，但实际是跑出数据了

image.png


image.png


发现版本

spark 312

解决方案

set spark.sql.hive.convertInsertingPartitionedTable=false

问题原因

并发操作导致
注：
设置该参数会用hive的方式写表，可能会有略微的性能损失，也可能导致数据不兼容，常见的例如decimal类型。

作者：刘思伟