Iceberg流表
更新时间: 2024-05-15 09:09:20
阅读 98
本文将为您介绍 EasyStream 中如何创建 Kafka 类型流表。
操作步骤
- 在流表管理页面,单击目标逻辑库,表单页面左上角显示对应库名表示切换成功。
- 单击 创建表 按键,进行表创建。
- 选择 数据源类型 为 iceberg。
- 完成剩余表单内容,创建 iceberg 流表。
字段映射类型
KUDU | Flink 数据类型 |
---|---|
STRING |
STRING |
BIGINT |
BIGINT |
BOOLEAN |
BOOLEAN |
DATE |
DATE |
DOUBLE |
DOUBLE |
FLOAT |
FLOAT |
TIMESTAMP |
TIMESTAMP |
INT |
INT |
iceberg并不支持复杂字段的映射
流表配置
配置名称 | 是否必填 | 配置生效类型 | 参数值字段类型 | 参数默认值 | 参数说明 |
---|---|---|---|---|---|
format-version | 可选 | 目标表 | Integer | 1 | 表format版本 |
read.split.metadata-target-size | 可选 | 源表 | Long | 33554432 | 组合元数据输入拆分时的目标大小 |
read.split.open-file-cost | 可选 | 源表 | Long | 4194304 | 打开文件的估计成本,在组合分割时用作最小权重 |
read.split.planning-lookback | 可选 | 源表 | Long | 10 | 组合输入分割时要考虑的 bins 数量 |
read.split.target-size | 可选 | 源表 | Long | 134217728 | 组合数据输入拆分时的目标大小 |
streaming | 可选 | 源表 | Bealean | false | 是否是实时任务 |
write.distribution-mode | 可选 | 目标表 | String | none | 数据写入分布方式:none,hash,range |
write.format.default | 可选 | 目标表 | String | parquet | format格式: parquet, avro, orc |
write.metadata.delete-after-commit.enable可选 | 目标表 | Boolean | false | 提交后是否删除最旧版本的metadata文件 | |
write.metadata.previous-versions-max | 可选 | 目标表 | Integer | 100 | 提交后metadata文件最大数量 |
write.parquet.compression-codec | 可选 | 目标表 | String | gzip | parquet压缩方式:zstd, brotli, lz4, gzip, snappy, uncompressed |
write.parquet.row-group-size-bytes | 可选 | 目标表 | String | 134217728 | parquet row group 大小 |
文档反馈
以上内容对您是否有帮助?