INFO-离线传输-API Reader设置分页后,如何自定义接口请求并发次数
更新时间: 2025-08-29 22:07:28
阅读 17
使用场景
当API Reader开启分页时,传输任务请求api接口次数为:数据总量/pageSize值 => 向上取整例如100条数据,pageSize=21,那么访问接口并发数量为: 100 / 21 ≈ 4.76,再向上取整,也就是5次

此时如果发布方对访问请求并发数量有限制时,可对并发请求进行限制
使用示例
设置spark executor-num和executor-core来控制整体的并发,并发=executor-num * executor-coreexecutor-core默认是2,executor-num是spark自适应的,也可以传参固定
作者:曹俊
文档反馈
以上内容对您是否有帮助?