ES Sink

ES 5 Sink

简述

Easystream 支持输出到 ES 5。

示例

CREATE TABLE MyUserTable (
  ...
) WITH (
  'connector.type' = 'elasticsearch',
  'connector.version' = '5',        
  'connector.hosts' = 'http://host_name:9092;http://host_name:9093',
  'connector.cluster.name' = 'escluster',
  'connector.index' = 'MyUsers',     
  'connector.document-type' = 'user', 
  'update-mode' = 'append',                    
  'connector.key-delimiter' = '$',  
  'connector.key-null-literal' = 'n/a',
  'connector.failure-handler' = '...',  
  'connector.flush-on-checkpoint' = 'true',                                                          
  'connector.bulk-flush.max-actions' = '42', 
  'connector.bulk-flush.max-size' = '42 mb', 
  'connector.bulk-flush.interval' = '60000',
  'connector.bulk-flush.back-off.type' = '...',      
  'connector.bulk-flush.back-off.max-retries' = '3',
  'connector.bulk-flush.back-off.delay' = '30000',
  'connector.connection-max-retry-timeout' = '3',   
  'connector.connection-path-prefix' = '/',
  'format.type' = 'json',
  'format.derive-schema' = 'true'
  )

With 参数

参数 注释说明 备注
connector.type 维表类型 必填：elasticsearch
connector.version elasticsearch 版本 必填：5
connector.cluster.name elasticsearch 集群名称 必填
connector.hosts elaticseach transport 链接地址（可以多个,其中 protocols 不生效） 必填：http://host_name:9092; http://host_name:9093
connector.index elasticsearch 索引 必填
connector.document-type elasticsearch 文档类型 必填
update-mode 更新模式 （append/upsert） 必填，默认 append
connector.key-delimiter key 分隔符 选填，默认‘_’
connector.key-null-literal key 为空的时候的文字 选填，默认 null
connector.failure-handler failure 处理方式 选填，默认 fail
connector.flush-on-checkpoint checkpoint 的时候是否刷数据 选填，默认 true
connector.bulk-flush.max-actions 批量写入时的最大写入条数 选填
connector.bulk-flush.max-size 批量写入时的最大数据量 选填
connector.bulk-flush.interval 批量写入的时间间隔，配置后则会按照该时间间隔严格执行，无视上面的两个批量写入配置 选填
connector.bulk-flush.backoff.type 重试策略，CONSTANT 常数型（表示多次重试之间的时间间隔为固定常数） 选填，默认 disabled
connector.bulk-flush.backoff.max-retries 失败重试的次数 选填
connector.bulk-flush.backoff.delay 进行重试的时间间隔 选填
connector.connection-max-retry-timeout 链接超时时间（ms） 选填
connector.connection-path-prefix REST 请求的前缀（可选）,需要和 es 集群上的配置对映 选填
connector.format.type 数据格式，参数 format json 必填：json

ES 6/7 Sink

简述

Easystream 支持输出到 ES 6 或 7。

示例

CREATE TABLE MyUserTable (
  ...
) WITH (
  'connector.type' = 'elasticsearch',
  'connector.version' = '6',        
  'connector.hosts.0.hostname' = 'host_name',
  'connector.hosts.0.protocol' = 'http',
  'connector.index' = 'MyUsers',     
  'connector.document-type' = 'user', 
  'update-mode' = 'append',                    
  'connector.key-delimiter' = '$',  
  'connector.key-null-literal' = 'n/a',
  'connector.failure-handler' = '...',  
  'connector.flush-on-checkpoint' = 'true',                                                          
  'connector.bulk-flush.max-actions' = '42', 
  'connector.bulk-flush.max-size' = '42 mb', 
  'connector.bulk-flush.interval' = '60000',
  'connector.bulk-flush.back-off.type' = '...',      
  'connector.bulk-flush.back-off.max-retries' = '3',
  'connector.bulk-flush.back-off.delay' = '30000',
  'connector.connection-max-retry-timeout' = '3',   
  'connector.connection-path-prefix' = '/',
  'format.type' = 'json',
  'format.derive-schema' = 'true'
  )

With 参数

参数 注释说明 备注
connector.type 维表类型 必填：elasticsearch
connector.version elasticsearch 版本 必填：6/7
connector.hosts elaticseach transport 链接地址（可以多个,其中 protocols 不生效） 必填：http://host_name:9092; http://host_name:9093
connector.index elasticsearch 索引 必填
connector.document-type elasticsearch 文档类型 必填
update-mode 更新模式 （append/upsert） 必填，默认 append
connector.key-delimiter key 分隔符 选填，默认‘_’
connector.key-null-literal key 为空的时候的文字 选填，默认 null
connector.failure-handler failure 处理方式 选填，默认 fail
connector.flush-on-checkpoint checkpoint 的时候是否刷数据 选填，默认 true
connector.bulk-flush.max-actions 批量写入时的最大写入条数 选填
connector.bulk-flush.max-size 批量写入时的最大数据量 选填
connector.bulk-flush.interval 批量写入的时间间隔，配置后则会按照该时间间隔严格执行，无视上面的两个批量写入配置 选填
connector.bulk-flush.backoff.type 重试策略，CONSTANT 常数型（表示多次重试之间的时间间隔为固定常数） 选填，默认 disabled
connector.bulk-flush.backoff.max-retries 失败重试的次数 选填
connector.bulk-flush.backoff.delay 进行重试的时间间隔 选填
connector.connection-max-retry-timeout 链接超时时间（ms） 选填
connector.connection-path-prefix REST 请求的前缀（可选）,需要和 es 集群上的配置对映 选填
connector.format.type 数据格式，参数 format json 必填：json