FAQ-离线传输mysql-iceberg的merge into方式更新键为null值数据重复。

问题描述/异常栈
离线传输当目标端为iceberg且写入方式为merge into时，会选择更新键，若更新建为null值时，会出现数据重复问题。
FAQ-离线传输mysql-iceberg的merge into方式更新键为null值数据重复 - 图1
发现版本
EasyData9.0 update9
排查步骤
1.在传输spark日志中找到sql，将别名修改后在自助分析执行发现同样的现象，排除传输的问题。
FAQ-离线传输mysql-iceberg的merge into方式更新键为null值数据重复 - 图2
2.查询iceberg语法发现null和null比较时会被判断为不相等
FAQ-离线传输mysql-iceberg的merge into方式更新键为null值数据重复 - 图3
解决方案
选取更新键时最好选择非null值。
问题原因
更新键写入的定义为：选取多个字段联合作为更新键时，仅当字段拼接值冲突时，会更新原记录，不相等表明数据未冲突，被视为一条新的记录写入，于是产生数据重复问题。

作者：楚展航