INFO-如何从sparkUI判断spark任务卡在哪里
更新时间: 2024-03-11 02:50:58
阅读 2846
适用模块
spark任务很久不结束时,不知道spark任务卡在哪里。通过以下方法可以简单判断
具体说明
从sparkui上查看spark任务目前运行到哪里
使用示例
1.查看时间信息可以看到是在获取资源阶段还是在执行阶段,例如 从图上可以判断出是在执行sql
2.从sql执行图判断,例如 如图可见目前是在执行插入hive比表的sql,一般就是最后一步insert
3.从driver栈信息查看 搜索driver 点击waiting查看等待在哪
例a: 如图可知卡在最后一步sql执行
例b: 如图可知是卡在hdfs文件系统调用,也就是文件处理
作者:刘思伟
文档反馈
以上内容对您是否有帮助?