Easystream针对实时开发场景中提供了详细的任务运维配置，用户可通过修改其中参数实现对任务运行、重启、占用资源等多方面进行细致管控。

入口：实时开发右侧-运行配置

运行配置 - 图1

任务配置

与任务逻辑密切关联的配置归类为任务配置，其中包含 Checkpoint 参数、重启策略、Flink 高级配置、自定义配置。

CheckPoint 参数

注意：Jar 任务的 Checkpoint 参数请在 Jar 包内进行配置，Jar 任务页面无此配置项。
  • 间隔：两次CheckPoint发生的间隔时间；
  • 模式：EXACTLY-ONCE（恰好一次）或AT-LAST-ONCE（至少一次）；
  • 超时：在超时时间内CheckPoint未完成，则中止正在进行的CheckPoint；

重启策略

  • 重启策略：Failure_Rate（在一定时间范围内固定频率重启）和Fixed_Delay（固定频率重启一定次数，无时间范围限制）；
  • 重启失败次数：任务失败后平台自动重试次数；
  • 重启时间范围：当超出此范围时任务仍未重启成功，任务置失败；仅当选择Failure_Rate时支持选择；
  • 重启时间间隔：两次任务重启发生的间隔时间；

Flink高级配置

支持以Key Value键值对的方式添加Flink自定义配置参数，实现诸如JM/TM GC参数配置等功能，具体可参考Flink官方文档。

自定义配置

支持以Key Value键值对的方式添加平台运行参数，实现任务提交超时时间控制、指定插件版本等功能。

资源配置

与任务运行资源相关的配置归类为资源配置，资源配置可在开发页面或运维页面进行配置。

  • 资源实例：当前任务运行时使用的yarn集群信息；
  • 队列：相应集群下的资源队列信息；
  • 引擎：Flink内核引擎版本，目前已支持1.10-1.14、Blink等引擎版本；
  • slots：Flink进程启动时分配的slot数量（slot为Flink集群调度资源的最小单位，具体可参考 Task slot；
  • TM内存：TaskManager被分配的内存大小；
  • JM内存：JobManager被分配的内存大小；
  • 并发数量：Flink进程的并行度；