离线开发配置基础配置,目前主要包括内容:影响标签范围设置、提交上线设置、线上执行资源控制。

影响标签范围设置


在此处进行标签设置,会在离线开发提交上线场景、任务运维中心产出场景、数据地图表下游影响等场景过滤出此处设置的影响标签。例如,对于离线开发任务提交上线这个场景,结合影响检测与审批设置中圈定该任务,提交该任务上线时会检测输出表上是否有此处设置的标签,并给出提醒。对于任务运维中心产出影响和数据地图表下游影响,都是最终转换为过滤此处设置的表的标签。
基础配置 - 图1

提交上线控制


该功能模块是平台的CI/CD流程管控功能的配置项,可配置离线开发任务提交上线的策略。

说明: 离线开发提交上线的影响,可在离线开发中的CI/CD流程管控查看。

提交上线设置包含三个模块:强制开发模式测试提交上线检测强制走工单审批设置以及影响检测与审批设置和检测结果的审批策略

强制开发模式测试

开启强制开发模式测试功能,需要进行生效时间窗口以及任务范围圈定设置。
基础配置 - 图2

对于离线开发任务,当拖入新节点时,默认会出现节点待测试标记,当节点在开发模式运行通过时,会在任务旁边出现节点测试通过标记。开启强制开发模式测试后,对于非项目负责人和管理员,在时间窗口内对被圈定的任务执行提交上线时,系统会阻断其提交上线。

节点待测试标记如下图所示:
基础配置 - 图3

节点测试通过标记如下图所示:
基础配置 - 图4

任务提交上线后,节点标记会自动消失。

提交上线检测

“未提交潜在风险提醒”开关打开后,会在指定的提醒时间检测是否存在:SQL节点的输出Hive表的表结构更新之后、任务未提交上线的情况,如存在则会通过此处指定的提醒接收方式向任务负责人发送任务未提交潜在风险提醒。

基础配置 - 图5

强制走工单审批设置

该功能用于圈定一些文件夹或任务,强制这些任务或文件夹下的任务提交上线时必须走工单审批。

对于离线开发的任务,如果满足上述设定的条件,则提交上线时,会发起一个提交上线工单。提交后,任务会被锁定不可操作。工单被通过时,任务才会被提交上线。用户也可以选择撤回工单,并继续编辑。

项目负责人和管理员可设置多个分组,并对每个分组设置任务范围圈定审批人默认审批级别需要审批时间窗口
基础配置 - 图6

影响检测与审批设置和检测结果的审批策略

影响检测与审批设置和检测结果的审批策略需要组合配置,最终实现基于任务产出影响的审批策略。
基础配置 - 图7

影响检测与审批设置

该部分用于设置当前项目下,哪些任务或文件夹下的任务提交上线时,需要进行影响检测并通知提交人。配合检测结果的审批策略部分的设置,可实现当任务提交上线影响某些特定内容时,会阻断提交,并强制生成审批工单,只有当工单审批通过时,才能提交上线。目前可通过设置多个分组的方式来圈定文件夹和任务,并对每个分组预设审批人。

检测结果的审批策略

该部分用于设置哪些影响的内容需要执行审批。对于上方影响检测与审批设置中圈定的任务,提交上线时会进行影响检测,如果检测出此处设置的策略中的标签,则系统会阻断任务提交,强制生成审批工单。审批策略支持设置多个,每个策略可以圈定一些标签进行普通审批(一级审批)或重要审批(二级审批)。

说明:
1. 在进行强制开发模式测试强制走工单审批设置影响检测与审批设置中,可支持按照整个集群进行选择,当集群下新增文件夹时,也可以被圈定。
2. 当某一文件夹被圈定时,默认该文件夹下的子文件夹也被圈定。

离线开发任务线上执行资源控制

用于指定当前项目内的离线开发任务在提交上线后,进行线上调度时采用何种权限来选择执行队列,目前包括线上执行账号任务负责人两种。当选择线上执行账号时,即使当前用户没有线上执行资源的权限,也可以提交任务并交由线上账号进行执行。

基础配置 - 图8