平台提供Spark开发任务,用户可以使用Spark节点进行任务编写。Spark任务的编程语言支持Java和Python。

说明:离线开发的Spark是基于Yarn,非Mesos或Standalone。

Java


当开发语言选择Java时,界面如下图所示:
Spark - 图1

参数信息 说明
Spark版本 支持2.1.2(Hadoop 2.7.3)、2.3.2(Hadoop 2.7.3)、3.1.0(Hadoop 2.7.3)
模式 支持client和cluster两种模式。client代表driver运行在 azkaban机器上,cluster代表driver运行在集群的一个节点上。
语言 支持Java和Python,此处为Java。
Dricer内存 填入需要使用的Driver内存大小,单位为(M),模式是client时不得超过2048M。
最大Executer数目 填入需要使用的Executor的最大数据。
Executor内存 填入分配给Executor的内存大小,单位为(M)。
执行类 填入Spark任务的执行入口类。
参数 填入执行类参数,以空格分隔。
执行类jar 填入执行类所在的jar路径。
依赖jars 填入依赖的jar路径,多个jar文件以逗号分隔,若依赖某文件夹下的多个jar文件,可使用通配符,但注意只支持x*.jar或者*的形式,不支持*.jar或者中间有通配符的格式,例如不支持./abc/*.jar和./abc/a*b.jar,但支持./abc/aaa*.jar或者./abc/*的形式。
运行超时时间 节点运行超时终止的时间选择。
自动重试 开启后,可进行重试次数重试间隔配置。
节点参数 支持自定义参数配置以及资源及配置中的参数组引用,如conf.spark.yarn.dist.files和executor-cores。

Python


当开发语言选择Python时,界面如下图所示:
Spark - 图2

参数信息 说明
Spark版本 支持2.1.2(Hadoop 2.7.3)、2.3.2(Hadoop 2.7.3)、3.1.0(Hadoop 2.7.3)
模式 支持client和cluster两种模式。client代表driver运行在 azkaban机器上,cluster代表driver运行在集群的一个节点上。
语言 支持Java和Python,此处为Python。
Dricer内存 填入需要使用的Driver内存大小,单位为(M),模式是client时不得超过2048M。
最大Executer数目 填入需要使用的Executor的最大数据。
Executor内存 填入分配给Executor的内存大小,单位为(M)。
执行命令 填入Spark任务的执行命令入口。
依赖文件 填入Spark任务的依赖文件,以逗号分隔对应。
运行超时时间 节点运行超时终止的时间选择。
自动重试 开启后,可进行重试次数重试间隔配置。
节点参数 支持自定义参数配置以及资源及配置中的参数组引用,如conf.spark.yarn.dist.files和executor-cores。

其它功能


右键节点,支持功能项如下:

参数信息 说明
运行 对选中节点使用默认参数进行运行。
编辑 编辑当前节点。
配置质量监控 为当前节点绑定质量监控任务。
重命名 对当前节点进行重命名。
复制节点 复制当前节点,包括节点内配置参数。
禁用节点 禁用当前节点,如果该节点被依赖,在开发模式禁用后无法提交到线上模式,需要先解除依赖。
删除节点 删除当前节点,支持键盘快捷键DELETE。
选择节点 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。
取消选择节点 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。