FAQ-字段血缘太大导致oom-Requested array size exceeds VM limit

问题描述/异常栈

Requested array size exceeds VM limit

发现版本

解决方案

conf.spark.task.column.lineage.turn = false

问题原因

某些极端任务sql很大，表字段很多的时候，在字段血缘解析的时候存储过多中间态数据会出现driver端内存oom的情况。需要手动配置该任务的字段血缘关闭配置

作者：chenjie