HBase Sink
更新时间: 2021-08-26 20:42:29
阅读 400
HBase Sink
简述
Easystream 支持输出到 HBase。
示例
CREATE TABLE pvuvage_sink (
hbase_rowkey_name VARCHAR,
base_info row<dt VARCHAR, age INT, behavior VARCHAR>
) WITH (
'connector.type' = 'hbase',
'connector.version' = '1.4.3',
'connector.property.version' = '2',
'connector.zookeeper.quorum' = '*',
'connector.zookeeper.znode.parent' = '*',
'connector.table-name' = 'user_pvuv_sink',
'connector.write.buffer-flush.max-size' = '10mb',
'connector.write.buffer-flush.max-rows' = '1000',
'connector.write.buffer-flush.interval' = '1s'
);
HBase 中 column families 必须声明为 Row 类型,可以不用定义所有column families 和 qualifier names。 e.g. base_info 映射为 HBase 的 column family name,dt、age、behavior 映射为 HBase 的 qualifier name。
With 参数
参数 | 注释说明 | 备注 |
---|---|---|
connector.type | 维表类型 | 必填:hbase |
connector.version | hbase client 版本 | 必填:目前支持:1.4.3, 2.2.1 |
connector.property.version | Easystream 版本 | 必填,2 |
connector.table-name | hbase 表名 | 必填 |
connector.zookeeper.quorum | HBase 集群配置的 zk 地址,是以,分隔的主机列表 | 必填 |
connector.zookeeper.znode.parent | 集群配置在 zk 上的路径 | 必填 |
connector\write.buffer-flush.max-size | 定义多大 size 缓存在 buffer | 选填;默认2mb |
connector\write.buffer-flush.max-rows | 定义多少条缓存在 buffer,一次性 flush | 选填;没有默认值 |
connector\write.buffer-flush.interval | 定义 flush 间隔时间,’0s’表示同步 flush | 选填 |
文档反馈
以上内容对您是否有帮助?