数据传输模块主要用于多种异构数据源之间的数据交换，可实现各部门业务数据在应用层面的互联互通和信息共享。数据传输采用分布式的架构，可以从容应对大数据量的数据传输需求。

数据传输任务创建步骤如下图所示：
产品概述 - 图1

  • 数据源登记：支持物理数据源、逻辑数据源的登记。逻辑数据源是物理数据源的集合，通常用在跨库跨表场景下。
  • 同步任务创建：同步任务包括离线同步传输任务和实时同步传输任务。离线同步传输任务支持单个任务和批量任务的创建，创建完成后需要在离线开发模块进行调度配置才能进行周期性的数据同步。实时同步传输任务配置完成后，直接启动便可开启同步。
  • 任务调度配置：离线同步传输任务创建完成后需提交到线上进行任务调度的配置。

支持的数据源

数据源分类 数据源类型 抽取(Reader)/导入(Writer)
关系型数据库 DB2 R/W
DDB(DBI) R/W
DDB(QS) R/W
DM（达梦） R/W
HANA R/W
MySQL R/W
Oracle R/W
PostgreSQL R/W
SQLServer R/W
MPP数据库 Doris R/W
GreenPlum R/W
大数据存储 Hive R/W
Phoenix R/W
Vertica R/W
半结构化存储 API R
FTP R/W
HDFS R/W
分析型数据库 Clickhouse R/W
Kudu R/W
TiDB R/W
NoSQL ElasticSearch R/W
HBase R/W
Redis W
MongoDB R/W
消息队列 Kafka W
RocketMQ W