项目中心项目配置,目前主要包括内容:SQL节点默认设置、补数据时间窗口、影响标签范围设置和离线开发提交控制。

SQL节点默认设置


该部分主要用于控制离线开发中,在任务中新加入的SQL节点,默认采用什么执行引擎以及针对不同引擎的下的默认配置。

  • 对于Spark引擎,支持默认运行方式、运行参数的设置,包括Driver内存、最大Executor数目以及Executor内存。

  • 对于Hive引擎,支持默认运行方式设置。

项目配置 - 图1

补数据时间窗口


补数据时间窗口主要用于控制平台用户在某些时间窗口不能进行补数据操作,比如设置一个夜间的时间,从而控制线上调度任务的资源,不会被补数据任务抢占。
2021-08-22-15-32-11.png

影响标签范围设置


在此处进行标签设置,会在离线开发提交上线场景、任务运维中心产出场景、数据地图表下游影响等场景过滤出此处设置的影响标签。例如,对于离线开发任务提交上线这个场景,结合影响检测与审批设置中圈定该任务,提交该任务上线时会检测输出表上是否有此处设置的标签,并给出提醒。对于任务运维中心产出影响和数据地图表下游影响,都是最终转换为过滤此处设置的表的标签。
项目配置 - 图3

离线开发提交控制


该功能模块是平台的CI/CD流程管控功能的配置项,可配置离线开发任务提交上线的策略。

说明: 离线开发提交上线的影响,可在离线开发中的CI/CD流程管控查看。

离线开发提交控制包含三个模块:强制开发模式测试强制走工单审批设置以及影响检测与审批设置和检测结果的审批策略

强制开发模式测试


开启强制开发模式测试功能,需要进行生效时间窗口以及任务范围圈定设置。
项目配置 - 图4

对于离线开发任务,当拖入新节点时,默认会出现节点待测试标记,当节点在开发模式运行通过时,会在任务旁边出现图标项目配置 - 图5。开启强制开发模式测试后,对于非项目负责人和管理员,在时间窗口内对被圈定的任务执行提交上线时,系统会阻断其提交上线。

节点待测试标记如下图所示:
27 待测节点.png

当任务运行通过时,任务中会显示节点测试通过标记:
2021-08-22-15-42-25.png

任务提交上线后,节点标记会自动消失。

强制走工单审批设置


该功能用于圈定一些文件夹或任务,强制这些任务或文件夹下的任务提交上线时必须走工单审批。一般用于指定某些特定的重要任务提交上线时必须走审批流程。

对于离线开发的任务,如果满足上述设定的条件,则提交上线时,会发起一个提交上线工单。工单被通过时,任务才会被提交上线。用户也可以选择撤回工单,并继续编辑。

项目负责人和管理员可设置多个分组,并对每个分组设置任务范围圈定审批人默认审批级别需要审批时间窗口
项目配置 - 图8

影响检测与审批设置和检测结果的审批策略


影响检测与审批设置和检测结果的审批策略需要组合配置,最终实现基于任务产出影响的审批策略。
项目配置 - 图9

影响检测与审批设置

该部分用于设置当前项目下,哪些任务或文件夹下的任务提交上线时,需要进行影响检测并通知提交人。配合检测结果的审批策略部分的设置,可实现当任务提交上线影响某些特定内容时,会阻断提交,并强制生成审批工单,只有当工单审批通过时,才能提交上线。目前可通过设置多个分组的方式来圈定文件夹和任务,并对每个分组预设审批人。

检测结果的审批策略

该部分用于设置哪些影响的内容需要执行审批。对于上方影响检测与审批设置中圈定的任务,提交上线时会进行影响检测,如果检测出此处设置的策略中的标签,则系统会阻断任务提交,强制生成审批工单。审批策略支持设置多个,每个策略可以圈定一些标签进行普通审批(一级审批)或重要审批(二级审批)。

说明:
1. 在进行强制开发模式测试强制走工单审批设置影响检测与审批设置中,可支持按照整个集群进行选择,当集群下新增文件夹时,也可以被圈定。
2. 当某一文件夹被圈定时,默认该文件夹下的子文件夹也被圈定。