使用场景
离线传输——API数据导入到其他数据源时,满足下列两个条件:
(1)api数据内含有增量字段(比如时间戳)
(2)增量字段为api接口请求的入参
可根据增量字段实现增量同步 INFO-离线传输-API导入数据,实现增量同步 - 图1
示例
有两种实现方式:
方式一:
1、API Reader内通过前置函数,在udf内使用java直接连接目标端数据源,获取增量字段的最大值,并作为下次请求的入参。(这种实现方式可能会存在认证问题,udf内的Kerberos认证与传输任务本身spark Kerberos认证存在冲突。建议使用第二种方式)

方式二:
1、在数据服务模块建立一个api任务。(api任务里直接写sql查询目标端数据源,获取增量字段最大值)
INFO-离线传输-API导入数据,实现增量同步 - 图2
2、在API Reader的前置函数内访问步骤1建立的api(地址、aksk、apitoken等访问参数可在数据服务模块-api列表内获取)。api返回结果(增量字段最大值)作为接口请求的入参
INFO-离线传输-API导入数据,实现增量同步 - 图3

作者:曹俊