FAQ-Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

问题描述/异常栈

Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

解决方案

1、调整内存
在driver端搜索看到上述错误，就是表示的是driver的内存不足，请在猛犸的web页面调大driver内存或者参数（spark.driver.memory）

在executor端搜索看到上述错误，就是表示的是executor的内存不足，请在猛犸的web页面调大executor内存（spark.executor.memory）

2、如何区分driver日志：

如果使用的是client模式，那么猛犸这边看到的日志就是driver日志，如果是cluster模式，那么在spark history页面中的 executors中查看

如果用的是cluster模式，两者的日志都在下图看

问题原因

待补充

作者：林帅