适用模块

    spark任务很久不结束时,不知道spark任务卡在哪里。通过以下方法可以简单判断

    具体说明

    sparkui上查看spark任务目前运行到哪里

    使用示例

    Demo-判断spark任务运行卡在哪里 - 图1 1.查看时间信息可以看到是在获取资源阶段还是在执行阶段,例如 Demo-判断spark任务运行卡在哪里 - 图2 从图上可以判断出是在执行sql

    Demo-判断spark任务运行卡在哪里 - 图3 2.从sql执行图判断,例如 Demo-判断spark任务运行卡在哪里 - 图4 如图可见目前是在执行插入hive比表的sql,一般就是最后一步insert

    Demo-判断spark任务运行卡在哪里 - 图5 3.从driver栈信息查看 Demo-判断spark任务运行卡在哪里 - 图6 搜索driver 点击waiting查看等待在哪

    例a: Demo-判断spark任务运行卡在哪里 - 图7 如图可知卡在最后一步sql执行

    例b: Demo-判断spark任务运行卡在哪里 - 图8 如图可知是卡在hdfs文件系统调用,也就是文件处理

    作者:刘思伟 日期:2022-06-09
    版本:v1
    更新:暂无