FAQ-spark jar 提交报错scala版本问题
更新时间: 2024-07-03 06:25:19
阅读 272
FAQ-spark jar 提交报错scala版本问题
问题描述/异常栈
发现版本
支持spark jar任务后版本通用解决方案
解决方法说明1:将打包中的 spark与scala依赖剔除 (pom文件中依赖版本改成 provided)
会自己去使用提交的spark版本以及spark包中的 scala版本
解决方法说明2:
确认不同的spark包中的scala版本 将jar包中版本与客户端环境版本一致通常:
spark2 : 2.11
spark3 :2.12
问题原因
环境scala 版本与jar包scala版本依赖冲突作者:华柄印
文档反馈
以上内容对您是否有帮助?