背景

抽取任务如果数据量过大,超时时间比较小的情况会报timeout的问题。

解决方法

需要调整抽取任务超时时间:

以设置6h抽取超时为例:

1.平台侧环境变量设置:(注意单位为分钟,在web和inner-web配置)。任务级别的超时会覆盖队列的默认超时

DE_FLOW_TIMEOUT: 360

2.抽取侧环境变量设置:(注意单位为毫秒,在tf 配置)。此为队列级别超时,分别表示默认抽取和高性能抽取。

DE_FLOW_TIMEOUT: 21600000
APEX_FLOW_TIMEOUT: 21600000

调整完环境变量后,dsd服务配置文件使其生效。