运行配置
更新时间: 2024-05-15 09:16:16
阅读 72
Easystream针对实时开发场景中提供了详细的任务运维配置,用户可通过修改其中参数实现对任务运行、重启、占用资源等多方面进行细致管控。
入口:实时开发右侧-运行配置
任务配置
与任务逻辑密切关联的配置归类为任务配置,其中包含 Checkpoint 参数、Failover策略、失败自动拉起、Flink 高级配置、自定义配置。
CheckPoint 参数
注意:Jar 任务的 Checkpoint 参数请在 Jar 包内进行配置,Jar 任务页面无此配置项。 |
- 间隔:两次CheckPoint发生的间隔时间;
- 模式:EXACTLY-ONCE(恰好一次)或AT-LAST-ONCE(至少一次);
- 超时:在超时时间内CheckPoint未完成,则中止正在进行的CheckPoint;
Failover策略
- Failover策略:Failure_Rate(在一定时间范围内固定频率重启)和Fixed_Delay(固定频率重启一定次数,无时间范围限制);
- Failover失败次数:任务失败后平台自动重试次数;
- Failover时间范围:当超出此范围时任务仍未重启成功,任务置失败;仅当选择Failure_Rate时支持选择;
- Failover时间间隔:两次任务重启发生的间隔时间;
失败自动拉起
- 开关:默认关闭,打开后自动拉起策略将生效。
- 自动拉起方式:可选择从最新 Checkpoint 恢复或直接启动。
- 自动拉起次数:任务失败后尝试自动拉起的次数,当用户有手动启停操作后次数将重置。如配置自动拉起次数为3次,当前任务运行失败,通过自动拉起尝试恢复两次后正常运行,此时剩余自动拉起次数为1次,若用户手动对此任务进行重启,则自动拉起次数恢复至3次。
- 自动拉起间隔:任务失败后尝试自动拉起的时间间隔。
Flink高级配置
支持以Key Value键值对的方式添加Flink自定义配置参数,实现诸如JM/TM GC参数配置等功能,具体可参考Flink官方文档。
自定义配置
支持以Key Value键值对的方式添加平台运行参数,实现任务提交超时时间控制、指定插件版本等功能。
资源配置
与任务运行资源相关的配置归类为资源配置,资源配置可在开发页面或运维页面进行配置。
- 资源实例:当前任务运行时使用的yarn或S3或OSS集群信息;
注意:当切换集群时,任务不可从原集群的checkpoint或savepoint恢复。 - 队列:相应集群下的资源队列信息;
- 引擎:Flink内核引擎版本,目前已支持1.10-1.14、Blink等引擎版本;
- slots:Flink进程启动时分配的slot数量(slot为Flink集群调度资源的最小单位,具体可参考 Task slot;
- TM内存:TaskManager被分配的内存大小;
- JM内存:JobManager被分配的内存大小;
- 并发数量:Flink进程的并行度;
文档反馈
以上内容对您是否有帮助?