Spark
更新时间: 2024-07-08 03:02:11
阅读 62
平台提供Spark开发任务,用户可以使用Spark节点进行任务编写。Spark任务的编程语言支持Java和Python。
说明:离线开发的Spark是基于Yarn,非Mesos或Standalone。 |
Java
当开发语言选择Java时,界面如下图所示:
参数信息 | 说明 |
---|---|
Spark版本 | 支持2.1.2(Hadoop 2.7.3)、2.3.2(Hadoop 2.7.3)、3.1.0(Hadoop 2.7.3) |
模式 | 支持client和cluster两种模式。client代表driver运行在 azkaban机器上,cluster代表driver运行在集群的一个节点上。 |
语言 | 支持Java和Python,此处为Java。 |
Dricer内存 | 填入需要使用的Driver内存大小,单位为(M),模式是client时不得超过2048M。 |
最大Executer数目 | 填入需要使用的Executor的最大数据。 |
Executor内存 | 填入分配给Executor的内存大小,单位为(M)。 |
执行类 | 填入Spark任务的执行入口类。 |
参数 | 填入执行类参数,以空格分隔。 |
执行类jar | 填入执行类所在的jar路径。 |
依赖jars | 填入依赖的jar路径,多个jar文件以逗号分隔,若依赖某文件夹下的多个jar文件,可使用通配符,但注意只支持x*.jar或者*的形式,不支持*.jar或者中间有通配符的格式,例如不支持./abc/*.jar和./abc/a*b.jar,但支持./abc/aaa*.jar或者./abc/*的形式。 |
运行超时时间 | 节点运行超时终止的时间选择。 |
自动重试 | 开启后,可进行重试次数和重试间隔配置。 |
节点参数 | 支持自定义参数配置以及资源及配置中的参数组引用,如conf.spark.yarn.dist.files和executor-cores。 |
Python
当开发语言选择Python时,界面如下图所示:
参数信息 | 说明 |
---|---|
Spark版本 | 支持2.1.2(Hadoop 2.7.3)、2.3.2(Hadoop 2.7.3)、3.1.0(Hadoop 2.7.3) |
模式 | 支持client和cluster两种模式。client代表driver运行在本地机器上,cluster代表driver运行在集群的一个节点上。一般推荐生产环境使用cluster模式。 |
语言 | 支持Java和Python,此处为Python。 |
Dricer内存 | 填入需要使用的Driver内存大小,单位为(M),模式是client时不得超过2048M。 |
最大Executer数目 | 填入需要使用的Executor的最大数据。 |
Executor内存 | 填入分配给Executor的内存大小,单位为(M)。 |
执行命令 | 填入Spark任务的执行命令入口。 |
依赖文件 | 填入Spark任务的依赖文件,以逗号分隔对应。 |
运行超时时间 | 节点运行超时终止的时间选择。 |
自动重试 | 开启后,可进行重试次数和重试间隔配置。 |
节点参数 | 支持自定义参数配置以及资源及配置中的参数组引用,如conf.spark.yarn.dist.files和executor-cores。 |
其它功能
右键节点,支持功能项如下:
参数信息 | 说明 |
---|---|
运行 | 对选中节点使用默认参数进行运行。 |
编辑 | 编辑当前节点。 |
配置质量监控 | 为当前节点绑定质量监控任务。 |
重命名 | 对当前节点进行重命名。 |
复制节点 | 复制当前节点,包括节点内配置参数。 |
禁用节点 | 禁用当前节点,如果该节点被依赖,在开发模式禁用后无法提交到线上模式,需要先解除依赖。 |
删除节点 | 删除当前节点,支持键盘快捷键DELETE。 |
选择节点 | 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。 |
取消选择节点 | 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。 |
文档反馈
以上内容对您是否有帮助?