INFO-修改Spark默认内存配置

适用模块

Spark

具体说明

修改Spark引擎提交任务默认配置

使用示例

  1. 进入easyops中Spark的配置 INFO-easyops修改Spark默认内存配置 - 图1

  2. 修改conf_spark_defaults下的

    spark.driver.memory 调整为 6g
spark.executor.memory 调整为 4g
spark.executor.cores 调整为 2

  3. 修改后选择更新当前配置组 INFO-easyops修改Spark默认内存配置 - 图2

  4. 点击全部组件应用该版本 INFO-easyops修改Spark默认内存配置 - 图3

  5. 这时USING和EDITING会显示在同一配置组上 INFO-easyops修改Spark默认内存配置 - 图4

  6. 同步配置即可，不需要重启 INFO-easyops修改Spark默认内存配置 - 图5 INFO-easyops修改Spark默认内存配置 - 图6

作者：邓崃翔