新版EasyStream中任务开发流程为:任务开发→任务提交(生成版本)→任务发布(上线可启动)。

新建任务入口


  1. 任务标签页点击 添加ICON ;

    新建任务入口2

  2. 在弹出窗口中选择对应任务类型,进行任务创建。 新建任务 - 图2

新建任务详情


不同任务类型在基础创建时填写内容均一致,具体参数如下:

  • 任务名称:作为任务在项目内的唯一标识;
  • 保存位置:选择任务保存位置,可存在不同文件夹下;
  • 引擎版本:支持选择任务不同版本的Flink引擎内核;
  • 任务环境/任务类别/任务标签:选择系统预置、用户自定义等不同标签来标识;

新建任务 - 图3

任务编写


根据任务类型进行不同形式的任务开发,可参考具体的开发指南。

任务状态


当前在实时开发任务列表中开发任务树已在原有基础上增加了状态表示,目前绿色代表运行中,红色代表任务停止,空白代表任务未提交。 新建任务 - 图4

任务提交与发布


在任务开发完成后,用户可进行保存、提交、提交并发布三种操作,其业务定义如下:

  • 保存:将任务代码保存至本地;
  • 提交:将本地代码提交并生成新版本,用户可根据不同版本对任务代码进行回滚; 此时任务不会出现在任务运维的列表中。
  • 提交并发布:将本地代码提交、生成新版本并提交至任务运维列表,此时任务支持运行;

新建任务 - 图5

注意:多KDC认证冲突


EasyStream实时任务支持用户添加自定义认证配置,以访问带认证的目标(可以是源端也可以是目标端,如kafka、hive、hdfs等),但配置中需要注意以下事项,以保证用户提交任务的配置和任务依赖的配置保持一致,避免运行时冲突,按具体场景可细分为以下两项:

  1. 如果运行任务的hadoop集群带kerberos认证,也即提交时已带有认证信息,则任务中可不用再添加自定义认证配置,即可读写当前集群(如果要添加也必须使用同一套配置)

    1. 如果任务需读写不同集群,则只适用于目标集群不带kerberos认证的情况(此时不需要添加额外认证信息)
    2. 如果任务读写当前集群,但需要使用不同的用户进行读写,则建议通过proxy user的方式进行:参考社区文档
  2. 如果运行任务的hadoop集群不带kerberos认证,但任务中需要访问带认证的源端或目标端,此时添加目标端认证配置即可。