HBase Sink

简述

Easystream 支持输出到 HBase。

示例

CREATE TABLE pvuvage_sink (
    hbase_rowkey_name VARCHAR,
    base_info row<dt VARCHAR, age INT, behavior VARCHAR>
) WITH (
    'connector.type' = 'hbase',
    'connector.version' = '1.4.3',
    'connector.property.version' = '2',
    'connector.zookeeper.quorum' = '*',
    'connector.zookeeper.znode.parent' = '*',
    'connector.table-name' = 'user_pvuv_sink',
    'connector.write.buffer-flush.max-size' = '10mb',
    'connector.write.buffer-flush.max-rows' = '1000',
    'connector.write.buffer-flush.interval' = '1s'
);

  • Flink HBase Connector 官方文档

  • HBase 中 column families 必须声明为 Row 类型，可以不用定义所有column families 和 qualifier names。 e.g. base_info 映射为 HBase 的 column family name，dt、age、behavior 映射为 HBase 的 qualifier name。

With 参数

参数 注释说明 备注
connector.type 维表类型 必填：hbase
connector.version hbase client 版本 必填：目前支持：1.4.3, 2.2.1
connector.property.version Easystream 版本 必填，2
connector.table-name hbase 表名 必填
connector.zookeeper.quorum HBase 集群配置的 zk 地址,是以,分隔的主机列表 必填
connector.zookeeper.znode.parent 集群配置在 zk 上的路径 必填
connector\write.buffer-flush.max-size 定义多大 size 缓存在 buffer 选填；默认2mb
connector\write.buffer-flush.max-rows 定义多少条缓存在 buffer，一次性 flush 选填；没有默认值
connector\write.buffer-flush.interval 定义 flush 间隔时间，’0s’表示同步 flush 选填