为了应对上游(源端)SCHEMA变更,导致下游任务运行异常情况,实时任务目前已支持脏数据管理:

  1. 任务出现脏数据时可以配置不挂掉,能够持续运行;
  2. 通过配置合理的管理策略,脏数据能打印到日志,并产生报警;
  3. 能够在运维页面查看脏数据内容;
  4. 能够自定义配置脏数据报警规则(统计周期、脏数据量、报警间隔)。

任务开发配置

实时开发-运行配置-任务配置下,新增了脏数据管理内容。可以根据自己的实际需求,配置合理的选项(具体选项信息可以参考选项中的提示)。

脏数据管理 - 图1

任务运维展示

若任务有脏数据产生,在实时运维-运行日志-脏数据日志下可以查看产生的脏数据内容。

脏数据管理 - 图2

任务报警配置

任务开启脏数据管理后,在任务运维页面,点击报警按钮,进入设置报警页面,会自动产生一条脏数据量告警,根据自己的实际情况,可以修改该告警规则。
脏数据管理 - 图3