平台支持通过Script节点使用脚本进行数仓开发,目前支持Shell和Perl两种脚本。脚本包需要上传至资源及配置作业资源中,也可以引用资源组中的文件。
Script - 图1

参数信息 说明
脚本类型 支持Shell和Perl。
脚本 可选择已经在资源及配置中的资源,支持脚本的编辑。
运行超时时间 表示节点运行时长超过某个时长时,系统自动终止该节点。可配合自动重试设置,实现节点自动终止后重新运行。当前支持系统默认(7天)自定义(h)永不超时
自动重试 支持设置重试次数和重试间隔。
节点参数 支持参数配置以及资源及配置中的参数组引用。

使用Script节点跑Python任务

使用Script节点跑Python任务需要通过shell脚本调用python脚本,因此需要在资源及配置中上传.sh文件和.py文件,其具体配置如下:

步骤一:将准备好的.sh文件和.py文件通过资源及配置 - 上传文件功能进行上传。
Script - 图2
示例中.sh文件内容如下所示:
Script - 图3

#!/bin/bash

echo "--------------script test---------------------"
python ./py2_test.py
if [[ "$?" -eq "0" ]];then
    echo "执行成功"
else
    echo "执行失败"
    exit -1
fi

.py文件内容如下所示:
Script - 图4

#!/usr/bin/env python

import sys

result = 'success'
print 'test result is %s' % result

步骤二:将Script节点拖入到画布中,双击节点进行编辑,脚本类型选择Shell,在脚本中输入调用文件路径。
Script - 图5

步骤三:对节点进行运行,测试节点是否调用成功。
Script - 图6

注意:目前只支持基础的python自带包,如果需要使用第三方python模块,需要用户自行安装。

其它功能

右键节点,支持功能项如下:

参数信息 说明
运行 对选中节点使用默认参数进行运行。
编辑 编辑当前节点。
配置质量监控 为当前节点绑定质量监控任务。
重命名 对当前节点进行重命名。
复制节点 复制当前节点,包括节点内配置参数。
禁用节点 禁用当前节点,如果该节点被依赖,在开发模式禁用后无法提交到线上模式,需要先解除依赖。
删除节点 删除当前节点,支持键盘快捷键DELETE。
选择节点 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。
取消选择节点 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。