FAQ-Spark任务出现大量GC导致任务运行缓慢

问题描述/异常栈

Spark任务出现大量GC导致任务运行缓慢

解决方案

可通过调大内存或减少CPU实现，在资源充足情况下，建议调大内存，保障任务高效运行；
1、通过猛犸提交任务，直接修改executor内存即可

2、通过客户端提交任务，添加以下参数：
--executor-memory xxx

问题原因

出现大量GC是由于内存与CPU计算能力不匹配导致

作者：林帅