INFO-INFO-实时开发-如何开启自动清理 Checkpoint功能

使用场景
客户存储空间有限,需要删除实时任务的Checkpoint
使用示例
具体操作步骤
1. 登录easyops,找到实时组件,点击realtimesubmitter,在配置项中找到submitter修改job_state.cleanup.enabled=trueINFO-实时开发-如何开启自动清理cp功能 - 图1
2.修改后同步配置重启submitter,在hdfs上检查是否生成清理目录(每天一个)重启之后2小时, 开始定时执行, 然后定时间隔6hINFO-实时开发-如何开启自动清理cp功能 - 图2
注意事项:开启功能后非系统自动删除,而是做了软删除,如果需要物理删除,请手动清理/user.sloth/del-xxx目录下文件,建议保留3个月内的Checkpoint,如果客户需要开启,请提前告知cp删除之后, 任务可能会拉不起来

作者:何焕鑫