Kudu Sink

简述

Easystream 支持输出到 Kudu。

示例

  1. create table sink(
  2.   test_int INT,
  3.   test_varchar VARCHAR,
  4.   test_boolean BOOLEAN,
  5.   test_tinyint TINYINT,
  6.   test_smallint SMALLINT,
  7.   test_bigint BIGINT,
  8.   test_float FLOAT,
  9.   test_decimal DECIMAL(38,18),
  10.   test_double DOUBLE,
  11.   test_timestamp TIMESTAMP(3),
  12.   test_varbinary VARBINARY
  13. ) with (
  14.   'connector.type'='kudu',
  15.   'masters'='kudu1.lt.163.org:7051,kudu2.lt.163.org:7051,kudu3.lt.163.org:7051',
  16.   'update-mode'='append',
  17.   'primary.keys'='test_varchar',
  18.   'flush.mode'='autoFlushSync',
  19.   'connector.property-version'='1',
  20.   'table.name'='kudu_table_name'
  21. );

With 参数

参数 注释说明 备注
connector.type Sink 数据源 必填：kudu
masters kudu 地址 必填：kudu 链接地址
connector.property-version connector 配置的版本 必填 :1
table.name kudu 表名 必填
primary.keys kudu 表主键 必填；多个用逗号隔开
replicas table 副本数 选填；默认：1
flush.mode flush 方式 选填；默认 ‘autoFlushBackground’，枚举： ‘autoFlushSync’ 每次 apply 都同步执行 flush,’autoFlushBackground’ 异步批量 flush
update-mode sink 方式 选填；默认’upsert’，枚举：’append’（如果主键重复会抛异常），’upsert’ ，’retract’
admin.operation.timeout.ms 设置 creatTable 等操作的 timeout 选填；默认’30000’，单位 ms
operation.timeout.ms 设置sessions等操作的timeout 选填；默认’30000’,单位 ms
boss.count 设置最大boss线程数 选填； 默认’1’
worker.count 设置最大worker线程数 选填； 默认：jvm中有效线程数的两倍，2 * Runtime.getRuntime().availableProcessors()
flush.interval.millis 每隔多长时间 flush 数据到 kudu 选填； 默认’1000’,单位ms，flush.mode=autoFlushBackground 时生效
mutation.buffer.max.ops 当 buffer 数据量达到多少时 flush 数据到 kudu 选填； 默认’1000’，flush.mode=autoFlushBackground 时生效
ignore.delete 是否忽略删除操作 选填；默认 false，为 true 时仅在 sink.mode=upsert 有效，表示忽略删除操作