FAQ-离线传输任务报错小文件已被删除:Missing required files to delete.

问题描述

离线传输任务设置了10分钟一次的调度，同时客户设置有amoro定时处理小文件，运行频发报错Missing required files to delete。
FAQ-离线传输报错小文件已被删除:Missing required files to delete - 图1

发现版本
任何版本
排查思路
查看任务开始和结束时间，同时登录amoro查看此时间内amoro是否在对表做治理小文件的操作。
报错时间为19:34,任务从19:30运行。
FAQ-离线传输报错小文件已被删除:Missing required files to delete - 图2
Amoro治理表时间为
FAQ-离线传输报错小文件已被删除:Missing required files to delete - 图3
搜索小文件是否对应。
FAQ-离线传输报错小文件已被删除:Missing required files to delete - 图4
在amoro中找到已删除的文件。
FAQ-离线传输报错小文件已被删除:Missing required files to delete - 图5
确认为两者冲突导致
解决方案
调度任务为10min一次，可调大设置治理表时间间隔参数(表级别设置),可以减少报错发生频率。
ALTER TABLE your_catalog.your_db.your_table 
SET TBLPROPERTIES (
  'self-optimizing.min-plan-interval' = '3600000'
);
单位为毫秒，可自行调整大小在自助分析执行。
问题原因
数据传输任务往目标表写数据和Amoro对目标表进行治理两者时间冲突。

作者：楚展航