平台提供Spark开发任务，用户可以使用Spark节点进行任务编写。Spark任务的编程语言支持Java和Python。

说明：离线开发的Spark是基于Yarn，非Mesos或Standalone。

Java

当开发语言选择Java时，界面如下图所示：
Spark - 图1

参数信息 说明
Spark版本 支持2.1.2（Hadoop 2.7.3)、2.3.2（Hadoop 2.7.3)、3.1.0（Hadoop 2.7.3)
模式 支持client和cluster两种模式。client代表driver运行在 azkaban机器上，cluster代表driver运行在集群的一个节点上。
语言 支持Java和Python，此处为Java。
Dricer内存 填入需要使用的Driver内存大小，单位为(M)，模式是client时不得超过2048M。
最大Executer数目 填入需要使用的Executor的最大数据。
Executor内存 填入分配给Executor的内存大小，单位为(M)。
执行类 填入Spark任务的执行入口类。
参数 填入执行类参数，以空格分隔。
执行类jar 填入执行类所在的jar路径。
依赖jars 填入依赖的jar路径，多个jar文件以逗号分隔，若依赖某文件夹下的多个jar文件，可使用通配符，但注意只支持x*.jar或者*的形式，不支持*.jar或者中间有通配符的格式，例如不支持./abc/*.jar和./abc/a*b.jar，但支持./abc/aaa*.jar或者./abc/*的形式。
运行超时时间 节点运行超时终止的时间选择。
自动重试 开启后，可进行重试次数和重试间隔配置。
节点参数 支持自定义参数配置以及资源及配置中的参数组引用，如conf.spark.yarn.dist.files和executor-cores。

Python

当开发语言选择Python时，界面如下图所示：
Spark - 图2

参数信息 说明
Spark版本 支持2.1.2（Hadoop 2.7.3)、2.3.2（Hadoop 2.7.3)、3.1.0（Hadoop 2.7.3)
模式 支持client和cluster两种模式。client代表driver运行在 azkaban机器上，cluster代表driver运行在集群的一个节点上。
语言 支持Java和Python，此处为Python。
Dricer内存 填入需要使用的Driver内存大小，单位为(M)，模式是client时不得超过2048M。
最大Executer数目 填入需要使用的Executor的最大数据。
Executor内存 填入分配给Executor的内存大小，单位为(M)。
执行命令 填入Spark任务的执行命令入口。
依赖文件 填入Spark任务的依赖文件，以逗号分隔对应。
运行超时时间 节点运行超时终止的时间选择。
自动重试 开启后，可进行重试次数和重试间隔配置。
节点参数 支持自定义参数配置以及资源及配置中的参数组引用，如conf.spark.yarn.dist.files和executor-cores。

其它功能

右键节点，支持功能项如下：

参数信息 说明
运行 对选中节点使用默认参数进行运行。
编辑 编辑当前节点。
配置质量监控 为当前节点绑定质量监控任务。
重命名 对当前节点进行重命名。
复制节点 复制当前节点，包括节点内配置参数。
禁用节点 禁用当前节点，如果该节点被依赖，在开发模式禁用后无法提交到线上模式，需要先解除依赖。
删除节点 删除当前节点，支持键盘快捷键DELETE。
选择节点 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。
取消选择节点 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。