项目配置

“项目中心”下的“项目配置”,目前主要包括4块的设置:SQL节点默认设置、补数据时间窗口、影响标签范围设置和离线开发提交控制。

1 SQL节点默认设置

该部分主要用于控制离线开发中,在任务中新加入的SQL节点,默认采用什么执行引擎,以及针对不同引擎的下的默认配置。

针对Spark引擎设置,还可控制SQL节点和Spark节点的内存、Exector数目和Exector内存的默认值、最大值。

项目配置 - 图1 2021-08-22-15-29-17.png

2 补数据时间窗口

补数据时间窗口,主要用于控制平台用户在某些时间窗口不能进行补数据操作,比如设置一个夜间的时间,从而控制线上调度任务的资源,不会被补数据任务抢占。

项目配置 - 图3 2021-08-22-15-32-11.png

3 影响标签范围设置

该部分主要是用来控制表的标签过滤。

项目配置 - 图5 2021-08-22-15-34-17.png

4 离线开发提交控制

该部分是平台的“CI/CD流程管控”功能的配置项,可配置离线开发任务提交上线的策略。这里对配置做一个说明,关于在离线开发提交上线的影响,可在手册中“离线开发”-“高级功能”-“CI/CD流程管控”中查看。

这里共分为3个部分。

第一个部分,“强制开发模式测试”。

如下图,为设置页面:

项目配置 - 图7 2021-08-22-16-32-40.png

对于离线开发任务,当拖入新节点时,默认会出现“节点待测试标记”,当节点在开发模式运行通过时,会变成“”。开启“强制开发模式测试”后,设置“生效时间窗口”和“任务范围圈定”,对于非项目负责人和管理员,在时间窗口内,对被圈定的任务执行提交上线时,系统会阻断其提交上线。

如下图,为任务中有待测试节点:

项目配置 - 图9 2021-08-22-15-39-00.png

如下图,为任务中待测试节点已运行通过:

项目配置 - 图11 2021-08-22-15-42-25.png

任务提交上线后,节点标记会自动消失。

第二个部分,“强制走工单审批设置”。

如下图,为设置页面:

项目配置 - 图13 2021-08-22-16-33-10.png

这个部分,项目负责人和管理员可设置多个分组,并对每个分组设置“任务范围圈定”、“审批人”、“默认审批级别”和“需要审批时间窗口”。

对于离线开发的任务,如果满足上述设定的条件,则提交上线时,会提醒用户将会发起一个提交上线工单。工单被通过时,任务才会被提交上线。用户也可以选择撤回工单,并继续编辑。

第三个部分,“影响检测与审批设置”和“检测结果的审批策略”。

如下图,为设置页面:

项目配置 - 图15 2021-08-22-16-30-19.png

这2项需要组合配置,最终实现基于任务产出影响的审批策略。

1)“影响检测与审批设置”

该部分用于设置当前项目下哪些任务或文件夹下的任务,提交上线时需要进行影响检测,并提醒给提交人。配合下方“检测结果的审批策略”部分的设置,可实现任务提交上线时影响某些特定内容时,会阻断提交,强制生成审批工单,只有当工单审批通过时,才能提交上线。目前可通过设置多个分组的方式来圈定文件夹和任务,并对每个分组预设审批人。

当离线开发任务需要审批时,系统会识别到此处设置的该任务所对应的审批人,并生成审批工单。获取审批人时会按照上游路径最近匹配原则,比如分组1圈定了文件夹A,分组2圈定了文件夹B,则文件夹B下的任务C会采用分组2的审批人。

如果当前项目下有多个业务团队,比如数仓、分析师、算法等,则可以设置3个分组,分别设置,每个团队的人员审批自己的团队的任务。

如果此处设置的任务也在上方“强制走工单审批设置”中命中,则审批人优先取上方的审批人。

2)“检测结果的审批策略”

该部分用于设置哪些影响的内容需要执行审批。对于上方“影响检测与审批设置”中圈定的任务,提交上线时会进行影响检测,如果检测出此处设置的策略中的标签,则系统会阻断任务提交,强制生成审批工单。审批策略支持设置多个,每个策略可以圈定一些标签,以及需要进行普通审批(一级审批)还是重要审批(二级审批)。