DEMO-Python节点提交Pyspark任务

适用模块

离线开发

具体说明

通过平台内置Python节点类型实现IDE开发pyspark任务

任务创建及执行

1 通过离线开发创建任务
DEMO-Python节点提交Pyspark任务 - 图1

2 编辑pyspark脚本
DEMO-Python节点提交Pyspark任务 - 图2

3 当存在多环境或沙箱集群时,配置当前IDE内运行环境(仅当前打开窗口有效)
DEMO-Python节点提交Pyspark任务 - 图3

4 配置工作流运行环境,系统调度及IDE外运行有效
DEMO-Python节点提交Pyspark任务 - 图4

作者:semon