Kudu Sink

简述

Easystream 支持输出到 Kudu。

示例

create table sink(
  test_int INT,
  test_varchar VARCHAR,
  test_boolean BOOLEAN,
  test_tinyint TINYINT,
  test_smallint SMALLINT,
  test_bigint BIGINT,
  test_float FLOAT,
  test_decimal DECIMAL(38,18),
  test_double DOUBLE,
  test_timestamp TIMESTAMP(3),
  test_varbinary VARBINARY
) with (
  'connector.type'='kudu',
  'masters'='kudu1.lt.163.org:7051,kudu2.lt.163.org:7051,kudu3.lt.163.org:7051',
  'update-mode'='append',
  'primary.keys'='test_varchar',
  'flush.mode'='autoFlushSync',
  'connector.property-version'='1',
  'table.name'='kudu_table_name'
);

With 参数

参数 注释说明 备注
connector.type Sink 数据源 必填：kudu
masters kudu 地址 必填：kudu 链接地址
connector.property-version connector 配置的版本 必填 :1
table.name kudu 表名 必填
primary.keys kudu 表主键 必填；多个用逗号隔开
replicas table 副本数 选填；默认：1
flush.mode flush 方式 选填；默认 ‘autoFlushBackground’，枚举： ‘autoFlushSync’ 每次 apply 都同步执行 flush,’autoFlushBackground’ 异步批量 flush
update-mode sink 方式 选填；默认’upsert’，枚举：’append’（如果主键重复会抛异常），’upsert’ ，’retract’
admin.operation.timeout.ms 设置 creatTable 等操作的 timeout 选填；默认’30000’，单位 ms
operation.timeout.ms 设置sessions等操作的timeout 选填；默认’30000’,单位 ms
boss.count 设置最大boss线程数 选填； 默认’1’
worker.count 设置最大worker线程数 选填； 默认：jvm中有效线程数的两倍，2 * Runtime.getRuntime().availableProcessors()
flush.interval.millis 每隔多长时间 flush 数据到 kudu 选填； 默认’1000’,单位ms，flush.mode=autoFlushBackground 时生效
mutation.buffer.max.ops 当 buffer 数据量达到多少时 flush 数据到 kudu 选填； 默认’1000’，flush.mode=autoFlushBackground 时生效
ignore.delete 是否忽略删除操作 选填；默认 false，为 true 时仅在 sink.mode=upsert 有效，表示忽略删除操作