ES Sink
更新时间: 2021-08-26 20:42:29
阅读 318
扫码
复制
导出ES Sink
ES 5 Sink
简述
Easystream 支持输出到 ES 5。
示例
CREATE TABLE MyUserTable (...) WITH ('connector.type' = 'elasticsearch','connector.version' = '5','connector.hosts' = 'http://host_name:9092;http://host_name:9093','connector.cluster.name' = 'escluster','connector.index' = 'MyUsers','connector.document-type' = 'user','update-mode' = 'append','connector.key-delimiter' = '$','connector.key-null-literal' = 'n/a','connector.failure-handler' = '...','connector.flush-on-checkpoint' = 'true','connector.bulk-flush.max-actions' = '42','connector.bulk-flush.max-size' = '42 mb','connector.bulk-flush.interval' = '60000','connector.bulk-flush.back-off.type' = '...','connector.bulk-flush.back-off.max-retries' = '3','connector.bulk-flush.back-off.delay' = '30000','connector.connection-max-retry-timeout' = '3','connector.connection-path-prefix' = '/','format.type' = 'json','format.derive-schema' = 'true')
With 参数
| 参数 | 注释说明 | 备注 |
|---|---|---|
| connector.type | 维表类型 | 必填：elasticsearch |
| connector.version | elasticsearch 版本 | 必填：5 |
| connector.cluster.name | elasticsearch 集群名称 | 必填 |
| connector.hosts | elaticseach transport 链接地址（可以多个,其中 protocols 不生效） | 必填：http://host_name:9092; http://host_name:9093 |
| connector.index | elasticsearch 索引 | 必填 |
| connector.document-type | elasticsearch 文档类型 | 必填 |
| update-mode | 更新模式 （append/upsert） | 必填，默认 append |
| connector.key-delimiter | key 分隔符 | 选填，默认‘_’ |
| connector.key-null-literal | key 为空的时候的文字 | 选填，默认 null |
| connector.failure-handler | failure 处理方式 | 选填，默认 fail |
| connector.flush-on-checkpoint | checkpoint 的时候是否刷数据 | 选填，默认 true |
| connector.bulk-flush.max-actions | 批量写入时的最大写入条数 | 选填 |
| connector.bulk-flush.max-size | 批量写入时的最大数据量 | 选填 |
| connector.bulk-flush.interval | 批量写入的时间间隔，配置后则会按照该时间间隔严格执行，无视上面的两个批量写入配置 | 选填 |
| connector.bulk-flush.backoff.type | 重试策略，CONSTANT 常数型（表示多次重试之间的时间间隔为固定常数） | 选填，默认 disabled |
| connector.bulk-flush.backoff.max-retries | 失败重试的次数 | 选填 |
| connector.bulk-flush.backoff.delay | 进行重试的时间间隔 | 选填 |
| connector.connection-max-retry-timeout | 链接超时时间（ms） | 选填 |
| connector.connection-path-prefix | REST 请求的前缀（可选）,需要和 es 集群上的配置对映 | 选填 |
| connector.format.type | 数据格式，参数 format json | 必填：json |
ES 6/7 Sink
简述
Easystream 支持输出到 ES 6 或 7。
示例
CREATE TABLE MyUserTable (...) WITH ('connector.type' = 'elasticsearch','connector.version' = '6','connector.hosts.0.hostname' = 'host_name','connector.hosts.0.protocol' = 'http','connector.index' = 'MyUsers','connector.document-type' = 'user','update-mode' = 'append','connector.key-delimiter' = '$','connector.key-null-literal' = 'n/a','connector.failure-handler' = '...','connector.flush-on-checkpoint' = 'true','connector.bulk-flush.max-actions' = '42','connector.bulk-flush.max-size' = '42 mb','connector.bulk-flush.interval' = '60000','connector.bulk-flush.back-off.type' = '...','connector.bulk-flush.back-off.max-retries' = '3','connector.bulk-flush.back-off.delay' = '30000','connector.connection-max-retry-timeout' = '3','connector.connection-path-prefix' = '/','format.type' = 'json','format.derive-schema' = 'true')
With 参数
| 参数 | 注释说明 | 备注 |
|---|---|---|
| connector.type | 维表类型 | 必填：elasticsearch |
| connector.version | elasticsearch 版本 | 必填：6/7 |
| connector.hosts | elaticseach transport 链接地址（可以多个,其中 protocols 不生效） | 必填：http://host_name:9092; http://host_name:9093 |
| connector.index | elasticsearch 索引 | 必填 |
| connector.document-type | elasticsearch 文档类型 | 必填 |
| update-mode | 更新模式 （append/upsert） | 必填，默认 append |
| connector.key-delimiter | key 分隔符 | 选填，默认‘_’ |
| connector.key-null-literal | key 为空的时候的文字 | 选填，默认 null |
| connector.failure-handler | failure 处理方式 | 选填，默认 fail |
| connector.flush-on-checkpoint | checkpoint 的时候是否刷数据 | 选填，默认 true |
| connector.bulk-flush.max-actions | 批量写入时的最大写入条数 | 选填 |
| connector.bulk-flush.max-size | 批量写入时的最大数据量 | 选填 |
| connector.bulk-flush.interval | 批量写入的时间间隔，配置后则会按照该时间间隔严格执行，无视上面的两个批量写入配置 | 选填 |
| connector.bulk-flush.backoff.type | 重试策略，CONSTANT 常数型（表示多次重试之间的时间间隔为固定常数） | 选填，默认 disabled |
| connector.bulk-flush.backoff.max-retries | 失败重试的次数 | 选填 |
| connector.bulk-flush.backoff.delay | 进行重试的时间间隔 | 选填 |
| connector.connection-max-retry-timeout | 链接超时时间（ms） | 选填 |
| connector.connection-path-prefix | REST 请求的前缀（可选）,需要和 es 集群上的配置对映 | 选填 |
| connector.format.type | 数据格式，参数 format json | 必填：json |
文档反馈
以上内容对您是否有帮助？