本文将为您介绍 EasyStream 中如何创建 Kafka 类型流表。

操作步骤

  1. 在流表管理页面，单击目标逻辑库，表单页面左上角显示对应库名表示切换成功。
  2. 单击 创建表 按键，进行表创建。
  3. 选择 数据源类型 为 iceberg。
  4. 完成剩余表单内容，创建 iceberg 流表。

字段映射类型

KUDU Flink 数据类型
STRING STRING
BIGINT BIGINT
BOOLEAN BOOLEAN
DATE DATE
DOUBLE DOUBLE
FLOAT FLOAT
TIMESTAMP TIMESTAMP
INT INT

iceberg并不支持复杂字段的映射

流表配置

配置名称 是否必填 配置生效类型 参数值字段类型 参数默认值 参数说明
format-version 可选 目标表 Integer 1 表format版本
read.split.metadata-target-size 可选 源表 Long 33554432 组合元数据输入拆分时的目标大小
read.split.open-file-cost 可选 源表 Long 4194304 打开文件的估计成本，在组合分割时用作最小权重
read.split.planning-lookback 可选 源表 Long 10 组合输入分割时要考虑的 bins 数量
read.split.target-size 可选 源表 Long 134217728 组合数据输入拆分时的目标大小
streaming 可选 源表 Bealean false 是否是实时任务
write.distribution-mode 可选 目标表 String none 数据写入分布方式:none,hash,range
write.format.default 可选 目标表 String parquet format格式: parquet, avro, orc
write.metadata.delete-after-commit.enable可选 目标表 Boolean false 提交后是否删除最旧版本的metadata文件
write.metadata.previous-versions-max 可选 目标表 Integer 100 提交后metadata文件最大数量
write.parquet.compression-codec 可选 目标表 String gzip parquet压缩方式:zstd, brotli, lz4, gzip, snappy, uncompressed
write.parquet.row-group-size-bytes 可选 目标表 String 134217728 parquet row group 大小