INFO-如何设置yarn上kyuubi任务缓存时间
更新时间: 2024-03-11 02:48:56
阅读 4626
适用模块
自助分析
具体说明
kyuubi长时间不释放资源导致yarn上资源不足,可调整kyuubi任务释放时间,
使用示例
Kyuubi 1.0版本
设置kyuubi.session.engine.idle.timeout
Kyuubi 0.8版本设置如下参数
spark.kyuubi.backend.session.max.cache.time 3min
spark.kyuubi.backend.session.idle.timeout 3min
spark.dynamicAllocation.minExecutors 0
设置后同步配置,后台确认
通过自助分析提交spark任务
执行情况如下
作者:林帅
文档反馈
以上内容对您是否有帮助?