INFO-数据传输实时任务mysqltokafka出现数据延迟优化

适用模块

数据传输实时任务

具体说明

数据传输实时任务，当mysql->kafka出现延迟的情况，增加内存，增加并发也无法增加qps的时候，可以进行参数优化：

pipeline.operator-chaining=false
用于将多个操作符（operators）链接在一起形成一个操作链，以减少数据在操作符之间的序列化和反序列化开销，从而提高执行性能。
pipeline.object-reuse=true
对象重用是一种优化技术，可以减少垃圾回收的开销，提高作业的性能和吞吐量

使用示例

如下，从任务从监控延迟看，出现了延迟情况。在cdc任务启动时，读取mysql的binlog时，该情况是单线程去读取，无法并发读取。出现数据延迟的情况

可以设置参数：
pipeline.operator-chaining=false
pipeline.object-reuse=true

1.任务在源端和目标端中存在抽取数据映射的算子，算子带来的数据序列化和反序列化影响了任务的性能。反压影响了源端数据的抽取速度。
2.通过上述队列的设置可以提高在下游反压时的源端性能，但带来的性能优化有限。

作者：qianzhaoyuan