问题描述/异常栈

一般出现在对orc表设置dqc监控时。报错Caused by: java.lang.RuntimeException: serious problem

解决方案

给dqc添加一下两个参数
1.conf.spark.sql.orc.impl=native
2.conf.spark.sql.hive.convertMetastoreOrc = true

问题原因

dqc这边使用的是spark2.3，spark2.3在操作orc表是有这个问题。spark3课规避。目前只能加参数绕过。

作者：刘思伟