问题描述

问题描述/异常栈

自助分析 spark 执行大量动态分区语句，如下报错，且 set spark.hadoop.hive.exec.max.dynamic.partitions=4000; 无效

org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic partitions created is 3000, which is more than 1000. To solve this try to set hive.exec.max.dynamic.partitions to at least 3000.

解决方案

spark.hadoop.hive.exec.max.dynamic.partitions
配置检查来自 Hive Client 对象，这个是 Spark App 粒度全局对象，只在 Spark 启动的时候加载一次全局配置。
Kyuubi 机制为在用户首次访问时，提交 Kyuubi engine 到 yarn集群，后续基于这个app 长期响应，因此此参数不支持运行时 SET。
离线开发可以在节点更多参数指定，自助分析kyuubi 查询只能全局修改到 hive-site.xml 配置文件中

作者：李凌威