HBase Sink
更新时间: 2021-08-26 20:42:29
阅读 538
HBase Sink
简述
Easystream 支持输出到 HBase。
示例
CREATE TABLE pvuvage_sink (hbase_rowkey_name VARCHAR,base_info row<dt VARCHAR, age INT, behavior VARCHAR>) WITH ('connector.type' = 'hbase','connector.version' = '1.4.3','connector.property.version' = '2','connector.zookeeper.quorum' = '*','connector.zookeeper.znode.parent' = '*','connector.table-name' = 'user_pvuv_sink','connector.write.buffer-flush.max-size' = '10mb','connector.write.buffer-flush.max-rows' = '1000','connector.write.buffer-flush.interval' = '1s');
HBase 中 column families 必须声明为 Row 类型,可以不用定义所有column families 和 qualifier names。 e.g. base_info 映射为 HBase 的 column family name,dt、age、behavior 映射为 HBase 的 qualifier name。
With 参数
| 参数 | 注释说明 | 备注 |
|---|---|---|
| connector.type | 维表类型 | 必填:hbase |
| connector.version | hbase client 版本 | 必填:目前支持:1.4.3, 2.2.1 |
| connector.property.version | Easystream 版本 | 必填,2 |
| connector.table-name | hbase 表名 | 必填 |
| connector.zookeeper.quorum | HBase 集群配置的 zk 地址,是以,分隔的主机列表 | 必填 |
| connector.zookeeper.znode.parent | 集群配置在 zk 上的路径 | 必填 |
| connector\write.buffer-flush.max-size | 定义多大 size 缓存在 buffer | 选填;默认2mb |
| connector\write.buffer-flush.max-rows | 定义多少条缓存在 buffer,一次性 flush | 选填;没有默认值 |
| connector\write.buffer-flush.interval | 定义 flush 间隔时间,’0s’表示同步 flush | 选填 |
文档反馈
以上内容对您是否有帮助?