在EasyStream中,实时平台管理员可对平台进行集群初始化、设定平台管理员、修改任务插件等操作实现对整体EasyStream产品基础的配置。本文为您介绍如何配置平台管理相关参数。

项目-集群初始化

EasyStream产品部署完成后,需要平台管理员 创建项目及工作空间,完成基础集群的注册。

页面信息如下:

名称 业务含义
ID 实时工作空间初始化的唯一标识,自增ID。
项目名称-集群名称 工作空间初始化时所选择的项目和集群名称,只有对应项目出现在当前列表中,用户才可在工作空间中继续实时任务的开发。
项目可用队列数 当前工作空间下可使用的资源实例(即Yarn集群)和对应队列数量。
项目初始化时间 用户手动进行工作空间初始化的时间,精确至秒。
资源实例 对应项目下配置的Yarn集群名称,若用户手动配置过多个Yarn集群,可选择多项。
队列名称 Yarn集群中用于实时任务提交的队列,建议在原集群中手动注册一个独立队列供实时开发使用。
说明:若配置的队列不存在,则选择该队列的任务将被提交到提交账号对应的默认队列执行。
队列使用情况 若对应工作空间中存在实时任务正使用目标队列运行,则提示使用中;仅有未使用队列支持编辑和删除操作。

平台管理 - 图1

平台管理员

实时平台管理员在EasyStream产品中具有最大权限,目前实时平台管理员需要产品部署后由Admin(超级管理员)账号进行角色分配。

HDFS文件管理

实时平台管理员可对不同项目下的文件内容进行统一管理。

任务插件管理

EasyStream产品底层采用开放式的架构,支持用户通过热更新的方式对开发过程中使用到的任务插件进行更新,从而更好更快的适配特殊场景的使用需求。

页面信息如下:

名称 业务含义
版本号 根据用户上传的插件包自动解析生成,第一部分指示插件类型分为"notebook."和"cdc."区分SQL任务和CDC任务;第二部分指示插件对应引擎版本"flink1.1X";第三部分为自动生成的自增序列作为唯一标识。
创建人 上传插件的用户名称。
内核版本 使用插件所需要的对应Flink内核版本。
插件类型 区分为SQL、CDC两种,对应两种任务类型。
状态 - test : 默认上传后初始化状态为test,此时用户可对其进行上下线,删除等操作。
- grey : 灰度状态,此时用户可通过手动在实时任务运维配置-自定义配置中通过添加自定义配置 job.plugin.version 指定对应灰度插件名称,实现特定插件版本的线上测试效果。
- online :上线状态,一个引擎版本仅能存在一个上线状态的任务插件,此时用户以对应引擎版本运行的任务将默认以该插件包内的内容进行。
- Offline:手动下线的插件,实际与test状态一致。

Jar包冲突检测

EasyStream中若用户有自定义UDF和Jar任务的使用,可能存在某些类名冲突的情况。实时平台管理员可针对项目内使用到的类名进行统一维护,并对可能存在的冲突进行检测。

  1. 单击新增检测规则按键。
  2. 在窗口中选择需要进行冲突检测的类型,并填写对应值和规则检测的描述。
  3. 选择保存并启用,对应规则保存并启用生效。实时任务语法检测中会对该冲突进行检测,若检测到有响应冲突,语法检测不通过。

默认标签配置

EasyStream中实时平台管理员进行 项目-集群初始化 时会默认向项目中添加对应环境、类别标签,用户可通过修改此项中的配置来更改每个项目初始化时添加的环境与类别标签。