产品概述

“离线开发”可提供数据开发人员敏捷高效的大数据开发功能,可通过表单方式,完成hive表的新建、加字段等操作。开发人员也可在完成任务创建后,通过可视化拖拽的方式,方便地在任务中新建多种数据加工节点,如数据同步、SQL、Spark、MR、Script、AI 2.0,以及选择节点、嵌套流、虚拟节点等控制节点。不同类型节点更详细的介绍,会在后续章节说明。

普通用户,如果需要在离线开发下进行任务的相关操作,需要由管理员授权任务的新建、编辑、提交上线等等操作。

对于离线开发的任务,支持开发模式和线上模式,实现代码的隔离。开发模式的任务可通过提交上线操作,将任务和代码发布到线上模式。

线上模式的任务,支持通过常规模式或crontab方式,实现定时调度功能。同时,也可以配置任务的依赖关系,保障任务的执行先后顺序。

下面,简单介绍一下离线开发模块的内容:

区块1:辅助功能区 区块2:任务列表区 区块3:任务简要信息 区块4:任务模式切换 区块5:任务操作画布 区块6:任务快捷操作

产品概述 - 图1 2021-08-27-10-55-29.png

区块1:辅助功能区

辅助功能去在页面左上角,提供了产出数据订阅、公共资源等模块的入口,支持新建文件夹、新建任务、新建离线表、离线表新增字段、表克隆、上传资源包、上传任务包、任务定位等功能。

区块2:任务列表区

该区块会显示所有离线开发的任务,可通过文件夹来组织任务。

对于具体的文件夹,支持新建文件夹、新建任务、重名和删除操作。

对于文件,支持上传任务包、上传资源包、重命名、删除、复制、下载任务包(开发模式)、下载任务包(线上模式)、依赖授权、锁定等。

在该列表区,系统预置了一个“默认文件夹”,该文件夹不做权限控制。此外,也隐藏了一个文件夹,命名为“项目名称-集群名称表示”,这个称为“AI任务文件夹”,命名如“easyai-hz10”。该文件夹为平台的关联产品“机器学习平台”预留,供其推送AI实验。AI文件夹下的任务不支持任何编辑操作,仅接收推送方式更新。

如下图,为默认文件夹和AI文件夹实例:

产品概述 - 图3 2021-07-07-11-43-54.png

区块3:任务简要信息

此处会显示任务状态、锁定状态、任务名称。

任务状态说明:任务新建后,状态为“未上线”;提交上线后,状态为“未调度”;编辑调度后,状态为“已调度”;取消调度后,状态又变为“未调度”。

锁定状态说明:任务默认不会锁定,在任务列表中,对任务邮件,执行锁定操作后,会显示任务锁定图标,对于非锁定者、项目负责人和管理员,则不可编辑,仅可查看。

区块4:任务模式切换

“离线开发”任务,新建后,可进入任务的开发模式,对任务进行相关操作,比如基础的编辑操作、节点运行、任务提交上线等。

任务提交上线后,可切换到线上模式查看线上任务的基本信息,支持对任务编辑调度、编辑报警等。

区块5:任务操作画布

任务操作画布,包括任务的开发模式画布和线上模式画布。

开发模式下,对于多节点任务,可将右侧多种类型的节点拖拽入画布中,并可双击进入到节点中,对节点进行编辑。支持选中节点并运行,支持将任务提交上线。

线上模式画布,可通过编辑方式,选择开启需要进行定时调度的节点,并设置任务的调度时间信息、依赖信息、执行信息等。

区块6:任务快捷操作

快捷操作区,可查看任务的基础属性,可将已提交上线的任务快速还原到开发环境,可快速跳转任务运维中心查看已提交上线的任务详情。