FAQ-Spark用cluster模式报错找不到文件

问题描述/异常栈

Spark cluster模式报错找不到文件

解决方案

spark.yarn.dist.archives (none) Comma separated list of archives to be extracted into the working directory of each executor.
spark.yarn.dist.files (none) Comma-separated list of files to be placed in the working directory of each executor.

问题原因

使用cluster模式之后，driver运行在yarn上面，如果driver需要价值的文件没有被携带到yarn上面去会报错，文件找不到参考如下参数，携带文件。

作者：林帅