FAQ-通过Yarn定位任务失败原因方法

问题描述/异常栈

通过Yarn定位任务失败原因方法

解决方案

1、猛犸平台Hive任务查找日志路径分以下三类:  
- 通过数据开发执行,日志链接可通过数据开发–运行结果–节点日志获取;

image2019-4-17 11_36_9.png
image2019-4-17 11_36_40.png

- 通过线上调度执行,日志链接可通过数据开发--前往任务管理--执行历史–实例ID–节点日志获取;

image2019-4-17 11_37_17.png
image2019-4-17 11_37_47.png
image2019-4-17 11_38_18.png

- 通过自助分析执行,日志链接可通过自助分析--执行历史–节点日志获取;

image2019-4-17 11_38_50.png

2、在猛犸平台点击节点日志(数据开发/线上调度)或运行日志(自助分析)右侧Application_Id列表中最后一个application_id

image2019-3-11 10_33_35.png

3、通过application_id跳转至yarn日志页面后,点击failed标签下数字,跳转至具体失败map/reduce任务;

image2019-3-11 10_37_47.png

4、跳转至map/task失败任务列表中,查看note标签中任务失败原因

image2019-3-11 10_38_58.png

5、如note中失败原因不够详细,可点击logs标签下logs超链接,跳转至失败task详细日志页面,如报错信息过多,可搜索exceptionerrorcaused by at关键字,一般错误信息会出现在这些关键字前后;

image2019-3-11 10_44_56.png

问题原因

待补充;

作者:qianzhangyuan