问题描述/异常栈

spark任务报错：KryoException: Buffer overflow. Available: xxx, required: xxx

解决方案

可以适当增加spark.kryoserializer.buffer.max 的值,
平台默认是128m，可以尝试给到256m或512m

设置方式：

1、可以直接在该spark节点 – 节点属性，增加这个参数属性：
conf.spark.kryoserializer.buffer.max   512m

 2、或在代码中增加设置：
 set("spark.kryoserializer.buffer.max", "512m")  
注意：设置set("spark.kryoserializer.buffer.max.mb", "512") 可能不生效

问题原因

待补充

作者：林帅