Script
更新时间: 2024-08-16 02:24:15
阅读 57
平台支持通过Script节点使用脚本进行数仓开发,目前支持Shell和Perl两种脚本。脚本包需要上传至资源及配置的作业资源中,也可以引用资源组中的文件。
参数信息 | 说明 |
---|---|
脚本类型 | 支持Shell和Perl。 |
脚本 | 可选择已经在资源及配置中的资源,支持脚本的编辑。 |
运行超时时间 | 表示节点运行时长超过某个时长时,系统自动终止该节点。可配合自动重试设置,实现节点自动终止后重新运行。当前支持系统默认(7天)、自定义(h)、永不超时。 |
自动重试 | 支持设置重试次数和重试间隔。 |
节点参数 | 支持参数配置以及资源及配置中的参数组引用。 |
使用Script节点跑Python任务
使用Script节点跑Python任务需要通过shell脚本调用python脚本,因此需要在资源及配置中上传.sh文件和.py文件,其具体配置如下:
步骤一:将准备好的.sh文件和.py文件通过资源及配置 - 上传文件功能进行上传。
示例中.sh文件内容如下所示:
#!/bin/bash
echo "--------------script test---------------------"
python ./py2_test.py
if [[ "$?" -eq "0" ]];then
echo "执行成功"
else
echo "执行失败"
exit -1
fi
.py文件内容如下所示:
#!/usr/bin/env python
import sys
result = 'success'
print 'test result is %s' % result
步骤二:将Script节点拖入到画布中,双击节点进行编辑,脚本类型选择Shell,在脚本中输入调用文件路径。
步骤三:对节点进行运行,测试节点是否调用成功。
注意:目前只支持基础的python自带包,如果需要使用第三方python模块,需要用户自行安装。 |
其它功能
右键节点,支持功能项如下:
参数信息 | 说明 |
---|---|
运行 | 对选中节点使用默认参数进行运行。 |
编辑 | 编辑当前节点。 |
配置质量监控 | 为当前节点绑定质量监控任务。 |
重命名 | 对当前节点进行重命名。 |
复制节点 | 复制当前节点,包括节点内配置参数。 |
禁用节点 | 禁用当前节点,如果该节点被依赖,在开发模式禁用后无法提交到线上模式,需要先解除依赖。 |
删除节点 | 删除当前节点,支持键盘快捷键DELETE。 |
选择节点 | 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。 |
取消选择节点 | 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。 |
文档反馈
以上内容对您是否有帮助?