适用模块

    自助分析

    具体说明

    kyuubi长时间不释放资源导致yarn上资源不足,可调整kyuubi任务释放时间,

    使用示例

    Kyuubi 1.0版本
    设置kyuubi.session.engine.idle.timeout
    
    Kyuubi 0.8版本设置如下参数
    spark.kyuubi.backend.session.max.cache.time 3min
    
    spark.kyuubi.backend.session.idle.timeout   3min
    
    spark.dynamicAllocation.minExecutors 0

    INFO-如何设置yarn上kyuubi任务缓存时间 - 图1

    设置后同步配置,后台确认

    INFO-如何设置yarn上kyuubi任务缓存时间 - 图2

    通过自助分析提交spark任务
    执行情况如下

    INFO-如何设置yarn上kyuubi任务缓存时间 - 图3


    作者:林帅