FAQ-实时传输mysql-Iceberg偶现metadata.json文件被删除

问题描述

实时传输任务Mysql-Iceberg，运行正常情况下突发找不到metadata.json文件找不到报错导致任务失败。

发现版本
EasyDataV9.0-patch01

解决方案

临时解决方案一:
可将上一个版本的metadata.json复制并更名成当前需要的metadata.json名

临时解决方案二:
在回收站找到“需要的metadata.json文件

从回收站将“需要的metadata.json文件”复制到表元数据目录下

彻底解决等待iceberg发版更改删除逻辑。

问题原因

HMS和HMS依赖的MySQL连接出现了一段时间的网络问题，实际上iceberg表的metadata_location的值已经被更新了，但因为网络抖动，导致HMS的“重试”和“检查是否更新成功的逻辑”报错，最终导致iceberg客户端认为metadata_location更新失败，因此删除了要更新的metadata文件。导致后面flink任务failover，重启时也因为metadata文件找不到而报错。

作者：楚展航