平台支持通过Script节点使用脚本进行数仓开发,目前支持Shell和Perl两种脚本。脚本包需要上传至资源及配置作业资源中,也可以引用资源组中的文件。

Script - 图1

参数信息 说明
脚本类型 支持Shell和Perl。
脚本 可选择已经在资源及配置中的资源,支持脚本的编辑。

其它配置项,如运行超时时间、自动重试、输入参数、自定义血缘可在“节点概述”中查看。

使用Script节点跑Python任务

使用Script节点跑Python任务需要通过shell脚本调用python脚本,因此需要在资源及配置中上传.sh文件和.py文件,其具体配置如下:

步骤一:将准备好的.sh文件和.py文件通过资源及配置 - 上传文件功能进行上传。
Script - 图2
示例中.sh文件内容如下所示:
Script - 图3

#!/bin/bash

echo "--------------script test---------------------"
python ./py2_test.py
if [[ "$?" -eq "0" ]];then
    echo "执行成功"
else
    echo "执行失败"
    exit -1
fi

.py文件内容如下所示:
Script - 图4

#!/usr/bin/env python

import sys

result = 'success'
print 'test result is %s' % result

步骤二:将Script节点拖入到画布中,双击节点进行编辑,脚本类型选择Shell,在脚本中输入调用文件路径。
Script - 图5

步骤三:对节点进行运行,测试节点是否调用成功。
Script - 图6

注意:目前只支持基础的python自带包,如果需要使用第三方python模块,需要用户自行安装。