FAQ-模板xxxxxx

问题描述/异常栈
23/06/08 09:21:17 WARN ScalaRowValueReader: Field 'tags' is backed by an array but the associated Spark Schema does not reflect this; (use es.read.field.as.array.include/exclude)
发现版本
easytransfer 3.6.0
解决方案
1、传输ES在3.6.0新增一种读取模式。es简单类型读取成简单类型，数组、Object等复杂类型都直接读成string。 FAQ - Field 'tags' is backed by an array - 图1 2、可通过参数source.es.read.field.as.array.include 需要配置所有的数组字段，逗号分割 FAQ - Field 'tags' is backed by an array - 图2 3、去向端如hive建表时需根据ES数据结构设置对应复杂类型，一般建议用上面的方法 #####问题原因 源端、去向端字段类型不匹配

作者：林帅