心跳超时是什么原因-java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id timed out.

异常直接原因是 TaskManager 心跳超时,进一步原因可能有:

  • 进程已退出,可能自身发生错误,或者受到 YARN RM 或 NM 上抢占机制影响,需要进一步追查 TaskManager 日志或 YARN RM/NM 日志;
  • 进程仍在运行,集群网络问题造成失联,连接超时会自行退出,JobManager 在该异常后会 Failover 自行恢复(重新申请资源并启动新的 TaskManager);
  • 进程 GC 时间过长,可能是内存泄露或内存资源配置不合理造成,可以借助Grafana上的监控来看对应的JM/TM的GC时长。 心跳超时是什么原因Heartbeat [...] timed out - 图1