ES Sink

ES 5 Sink

简述

Easystream 支持输出到 ES 5。

示例

  1. CREATE TABLE MyUserTable (
  2. ...
  3. ) WITH (
  4. 'connector.type' = 'elasticsearch',
  5. 'connector.version' = '5',
  6. 'connector.hosts' = 'http://host_name:9092;http://host_name:9093',
  7. 'connector.cluster.name' = 'escluster',
  8. 'connector.index' = 'MyUsers',
  9. 'connector.document-type' = 'user',
  10. 'update-mode' = 'append',
  11. 'connector.key-delimiter' = '$',
  12. 'connector.key-null-literal' = 'n/a',
  13. 'connector.failure-handler' = '...',
  14. 'connector.flush-on-checkpoint' = 'true',
  15. 'connector.bulk-flush.max-actions' = '42',
  16. 'connector.bulk-flush.max-size' = '42 mb',
  17. 'connector.bulk-flush.interval' = '60000',
  18. 'connector.bulk-flush.back-off.type' = '...',
  19. 'connector.bulk-flush.back-off.max-retries' = '3',
  20. 'connector.bulk-flush.back-off.delay' = '30000',
  21. 'connector.connection-max-retry-timeout' = '3',
  22. 'connector.connection-path-prefix' = '/',
  23. 'format.type' = 'json',
  24. 'format.derive-schema' = 'true'
  25. )

With 参数

参数 注释说明 备注
connector.type 维表类型 必填:elasticsearch
connector.version elasticsearch 版本 必填:5
connector.cluster.name elasticsearch 集群名称 必填
connector.hosts elaticseach transport 链接地址(可以多个,其中 protocols 不生效) 必填:http://host_name:9092; http://host_name:9093
connector.index elasticsearch 索引 必填
connector.document-type elasticsearch 文档类型 必填
update-mode 更新模式 (append/upsert) 必填,默认 append
connector.key-delimiter key 分隔符 选填,默认‘_’
connector.key-null-literal key 为空的时候的文字 选填,默认 null
connector.failure-handler failure 处理方式 选填,默认 fail
connector.flush-on-checkpoint checkpoint 的时候是否刷数据 选填,默认 true
connector.bulk-flush.max-actions 批量写入时的最大写入条数 选填
connector.bulk-flush.max-size 批量写入时的最大数据量 选填
connector.bulk-flush.interval 批量写入的时间间隔,配置后则会按照该时间间隔严格执行,无视上面的两个批量写入配置 选填
connector.bulk-flush.backoff.type 重试策略,CONSTANT 常数型(表示多次重试之间的时间间隔为固定常数) 选填,默认 disabled
connector.bulk-flush.backoff.max-retries 失败重试的次数 选填
connector.bulk-flush.backoff.delay 进行重试的时间间隔 选填
connector.connection-max-retry-timeout 链接超时时间(ms) 选填
connector.connection-path-prefix REST 请求的前缀(可选),需要和 es 集群上的配置对映 选填
connector.format.type 数据格式,参数 format json 必填:json

ES 6/7 Sink

简述

Easystream 支持输出到 ES 6 或 7。

示例

  1. CREATE TABLE MyUserTable (
  2. ...
  3. ) WITH (
  4. 'connector.type' = 'elasticsearch',
  5. 'connector.version' = '6',
  6. 'connector.hosts.0.hostname' = 'host_name',
  7. 'connector.hosts.0.protocol' = 'http',
  8. 'connector.index' = 'MyUsers',
  9. 'connector.document-type' = 'user',
  10. 'update-mode' = 'append',
  11. 'connector.key-delimiter' = '$',
  12. 'connector.key-null-literal' = 'n/a',
  13. 'connector.failure-handler' = '...',
  14. 'connector.flush-on-checkpoint' = 'true',
  15. 'connector.bulk-flush.max-actions' = '42',
  16. 'connector.bulk-flush.max-size' = '42 mb',
  17. 'connector.bulk-flush.interval' = '60000',
  18. 'connector.bulk-flush.back-off.type' = '...',
  19. 'connector.bulk-flush.back-off.max-retries' = '3',
  20. 'connector.bulk-flush.back-off.delay' = '30000',
  21. 'connector.connection-max-retry-timeout' = '3',
  22. 'connector.connection-path-prefix' = '/',
  23. 'format.type' = 'json',
  24. 'format.derive-schema' = 'true'
  25. )

With 参数

参数 注释说明 备注
connector.type 维表类型 必填:elasticsearch
connector.version elasticsearch 版本 必填:6/7
connector.hosts elaticseach transport 链接地址(可以多个,其中 protocols 不生效) 必填:http://host_name:9092; http://host_name:9093
connector.index elasticsearch 索引 必填
connector.document-type elasticsearch 文档类型 必填
update-mode 更新模式 (append/upsert) 必填,默认 append
connector.key-delimiter key 分隔符 选填,默认‘_’
connector.key-null-literal key 为空的时候的文字 选填,默认 null
connector.failure-handler failure 处理方式 选填,默认 fail
connector.flush-on-checkpoint checkpoint 的时候是否刷数据 选填,默认 true
connector.bulk-flush.max-actions 批量写入时的最大写入条数 选填
connector.bulk-flush.max-size 批量写入时的最大数据量 选填
connector.bulk-flush.interval 批量写入的时间间隔,配置后则会按照该时间间隔严格执行,无视上面的两个批量写入配置 选填
connector.bulk-flush.backoff.type 重试策略,CONSTANT 常数型(表示多次重试之间的时间间隔为固定常数) 选填,默认 disabled
connector.bulk-flush.backoff.max-retries 失败重试的次数 选填
connector.bulk-flush.backoff.delay 进行重试的时间间隔 选填
connector.connection-max-retry-timeout 链接超时时间(ms) 选填
connector.connection-path-prefix REST 请求的前缀(可选),需要和 es 集群上的配置对映 选填
connector.format.type 数据格式,参数 format json 必填:json