Spark2服务注意事项

EasyOps 1.7.4 版本 Spark 服务升级说明

Spark-default.conf 配置文件中的 spark.history.store.path 和 spark.local.dir 配置项的默认值改为数据盘路径，具体如下：

配置文件 配置项 默认值 用户填写的情况下 备注
spark-default.conf spark.history.store.path ${volumes}/spark2/historyStore 以用户填写的为准 单一路径, 一般配置在单个数据盘上即可
spark-default.conf spark.local.dir ${volumes}/spark2/local 以用户填写的为准 单一路径, 一般配置在单个数据盘上即可

一旦采用这些默认配置或修改了这些配置，同步配置重启之前需要手动创建这些路径，并设置权限为755, 用户和用户组为spark:hadoop

其中 spark.local.dir 的配置路径的权限要设置为 777