FAQ-msck repair 大量分区时抛出超时异常

问题描述/异常栈

 msck repair 大量分区时抛出超时异常

解决方案

可通过spark引擎kyuubi服务添加msck.repair.batch.size参数完成任务（hive1.2不支持msck.repair.batch.size参数）；
由于kyuubi服务为长连接，实测47万分区不添加msck.repair.batch.size参数也可完成msck，但执行效率远低于添加参数；

问题原因

该问题为一次性向hive元数据库写入数据过多导致

作者：焦巍