FAQ-实时传输Kafka来源解析topic字段缺失

问题描述/异常栈

实时传输Kafka来源解析topic字段缺失

用户在变更来源或去向表字段时。获取最新表结构为空/解析topic没有解析出来

解决方案

1. 点击设置 自定义表达式字段
2. 手动填写上缺失的字段，并选择正确的字段类型
3.回到字段映射处，选择Topic字段，再次手动填写缺失的字段。

测试：
1. 配置任务时最新kafka消息，无extra字段：

2. 按照上述方法手动配置extra字段，并运行任务

3. 新增一条kafka消息，包含extra等额外字段

4. 查看任务去向表，发现新增的kafka消息中的extra等字段正常写到下游。

问题原因

这个是正常现象。对于kafka来源，当前的topic字段解析逻辑是优先取最新一条topic消息进行解析，解析出的字段也以该topic消息中包含的字段为准。

作者：chenjie