HBase Sink

简述

Easystream 支持输出到 HBase。

示例

  1. CREATE TABLE pvuvage_sink (
  2. hbase_rowkey_name VARCHAR,
  3. base_info row<dt VARCHAR, age INT, behavior VARCHAR>
  4. ) WITH (
  5. 'connector.type' = 'hbase',
  6. 'connector.version' = '1.4.3',
  7. 'connector.property.version' = '2',
  8. 'connector.zookeeper.quorum' = '*',
  9. 'connector.zookeeper.znode.parent' = '*',
  10. 'connector.table-name' = 'user_pvuv_sink',
  11. 'connector.write.buffer-flush.max-size' = '10mb',
  12. 'connector.write.buffer-flush.max-rows' = '1000',
  13. 'connector.write.buffer-flush.interval' = '1s'
  14. );
  • Flink HBase Connector 官方文档

  • HBase 中 column families 必须声明为 Row 类型,可以不用定义所有column families 和 qualifier names。 e.g. base_info 映射为 HBase 的 column family name,dt、age、behavior 映射为 HBase 的 qualifier name。

With 参数

参数 注释说明 备注
connector.type 维表类型 必填:hbase
connector.version hbase client 版本 必填:目前支持:1.4.3, 2.2.1
connector.property.version Easystream 版本 必填,2
connector.table-name hbase 表名 必填
connector.zookeeper.quorum HBase 集群配置的 zk 地址,是以,分隔的主机列表 必填
connector.zookeeper.znode.parent 集群配置在 zk 上的路径 必填
connector\write.buffer-flush.max-size 定义多大 size 缓存在 buffer 选填;默认2mb
connector\write.buffer-flush.max-rows 定义多少条缓存在 buffer,一次性 flush 选填;没有默认值
connector\write.buffer-flush.interval 定义 flush 间隔时间,’0s’表示同步 flush 选填