注意:仅有作为数据来源的表才需要在数仓新建,其余的输出表,维表均不需要在这里注册。新建流表时,我们推荐一个 topic 对应一张流表。

建表流程


  1. 登录 Easystream - 点击数仓 - 流表管理 - 选择相应的数据库 - 创建表。

    新建表1

  2. 填入信息并确定,新建流表过程完成。

  • 数据库:选择流表创建时所归属的逻辑数据库;
  • 表名:输入流表表名;
  • 描述:对流表内容及业务含义的描述;
  • 数据源类型:选择流表的数据源类型,将根据类型筛选不同的数据源;
  • 数据源:选择对应类型下已在平台登记的数据源;
  • Topic:输入新建流表的数据源Topic名称;
  • 序列化方式:选择流表对应数据源的序列化方式
  • 字段映射:需要将消息中间件中的数据以结构化方式声明为流表;需要说明字段、类型;当使用Map、ROW、Array、Decimal等复杂类型时,需要额外在描述中进行嵌套参数声明;

    说明:序列化方式选择对应序列化类型后,正常配置字段映射即可。

    新建表2

字段类型对照


在新建流表和管理流表的过程中,用户需要自定义表的结构和每个字段的类型。下面的这个表主要是为了让用户来直观的对照,确定自己所需要选择的字段类型。

Eaystream类型 Flink类型 Java类型
string STRING java.lang.String
int INT java.lang.Integer
bigint BIGINT java.lang.Long
float FLOAT java.lang.Float
double DOUBLE java.lang.Double
timestamp TIMESTAMP(3) java.time.LocalDateTime
map MAP java.utl.Map
array ARRAY t[]
array ARRAY t[]
array OBJECT_ARRAY<…> byte[]
boolean BOOLEAN java.lang.Boolean
varbinary VARBINARY(2147483647) byte[]