整体说明

配置管理用于配置跨环境在线发布的发布和接收配置,通常由数据团队的管理者或架构师等角色来使用。此外,针对特定场景下页需要对资源进行映射配置,这些工作可由数据开发人员,或者也有架构师等角色来配置。

对于项目负责人、管理员,以及获取了权限的成员,可在发布中心左下角看到“配置管理”的入口。

配置管理 - 图1

配置管理包含通知配置、发布策略、接收策略、连接实例管理等子模块,是一个项目粒度的模块,可配置当前项目的通知配置和当前项目下所有已开通集群的策略。

配置管理 - 图2

通知配置

发布提醒

如当前项目开启发布提醒,则每天18:00会检测当前项目是否存在 最近更新时间为近72小时 且 状态为未打包或更新待打包 的资源,如存在则会根据此处配置的通知资源类型和接收方式向通知接收人发送发布提醒。

配置项 说明
发布提醒 1)开启发布提醒后,每天18:00会检测当前项目是否存在最近更新时间为近72小时且状态为未打包或更新待打包的资源,如存在则会根据此处配置的通知资源类型和接收方式向通知接收人发送发布提醒。
2)此处的资源打包状态检测需要依赖调度系统,为不影响调度任务,如当日23:00检测仍未结束,将对未开始检测的资源取消检测,检测中的资源仍将继续检测。
通知资源类型 1)仅针对此处勾选的资源类型发送发布提醒。
2)建议不勾选Hive表。Hive表DDL或DML更新时,Hive表的“最近更新时间”会更新,勾选后可能会较为频繁地收到Hive表的发布提醒通知。
通知接收方式 仅针对此处勾选的通知接收方式发送发布提醒。
通知接收人 1)仅针对此处勾选的通知接收人发送发布提醒。
2)向资源负责人发送发布提醒时,通知会展示该项目-集群下资源负责人为该用户的所有近72小时内更新待发布的资源的资源数量和资源详情;向其他人、报警组、值班组发送通知时,通知会展示该项目-集群下所有近72小时内更新待发布的资源的资源数量和资源详情。
二次发布提醒 1)如开启二次提醒,则在20:00会再次检测当前项目是否存在最近更新时间为近72小时 且 状态为未打包或更新待打包的资源,如存在则会根据此处配置的通知接收方式向通知接收人发送发布提醒。
2)如到达二次检测开始时间,首次检测仍未完成,则会继续执行首次检测,待首次检测完成后再开始二次检测,直至时间到达当日检测结束时间再停止检测。

注意:
支持通过EasyOps参数调整首次检测起始时间、二次检测起始时间和检测结束时间。EasyOps参数配置说明如下:

参数名称 参数描述 默认值 使用方式
alert-config.first-scan-time-hour 最近更新资源打包状态首次扫描起始时间点(小时),默认值:18 (和first-scan-time-minute配合使用,表示每天几点几分开始扫描) 18 {{jinja2_vars['backend']['alert-config.first-scan-time-hour']}}
alert-config.first-scan-time-minute 最近更新资源打包状态首次扫描起始时间点(分钟),默认值:0 (和first-scan-time-hour配合使用,表示每天几点几分开始扫描) 0 {{jinja2_vars['backend']['alert-config.first-scan-time-minute']}}
alert-config.second-scan-time-hour 最近更新资源打包状态二次扫描起始时间点(小时),默认值:20 (和second-scan-time-minute配合使用,表示每天几点几分开始二次扫描) 20 {{jinja2_vars['backend']['alert-config.second-scan-time-hour']}}
alert-config.second-scan-time-minute 最近更新资源打包状态二次扫描起始时间点(分钟),默认值:0 (和second-scan-time-hour配合使用,表示每天几点几分开始二次扫描) 0 {{jinja2_vars['backend']['alert-config.second-scan-time-minute']}}
alert-config.stop-scan-time-hour 最近更新待打包资源扫描截止时间点,默认值:23(表示每天23:00:00停止扫描) 23 {{jinja2_vars['backend']['alert-config.stop-scan-time-hour']}}

配置管理 - 图3

发布结果通知

1)当前项目的发布实例包的资源发布成功或发布失败时,会根据此处配置的通知接收方式发送发布结果通知。此外,可在消息中心查看发布结果通知。
2)当前项目的资源自动发布流程完成或异常终止时,会根据此处配置的通知接收方式发送自动发布结果通知。此外,可在消息中心查看自动发布结果通知。

发布结果通知的具体说明:
1)工单审批通过后由系统自动执行“上传包、导入到开发模式”或“上传包、导入到开发模式、提交上线“,无论发布成功或发布失败,均会发送发布结果通知。
2)如发布策略中“接收工单自动审批“设置为“是”,则仅会向发布方工单发起人发送通知;如发布策略中“接收工单自动审批“设置为“否“,则会向发布方工单发起人和接收方审批人发送通知。
3)由用户在接收方发布中心手动发布发布实例包的资源,无论发布成功或发布失败,均会发送发布结果通知,通知接收人为接收方操作人。
配置管理 - 图4

接收策略

1)用于管理当前项目的接收策略;

2)通过新建接收策略,可在发布方创建并绑定一个发布策略,以及修改时也会同步至发布方;

3)在新建接收策略时,可指定一些策略,比如“接收工单自动审批”、““工单审批通过后设置”的默认设置”、““资源负责人设置”的默认设置”、““已有资源负责人保持”的默认设置”等,该配置会同步至发布方的发布策略;

4)接收策略可用于控制“在线发布”场景下,接收方的发布包发布工单审批的权限;

5)如果是非同平台间的发布场景,则需要先在“连接实例管理”中配置发布方的连接实例,以及在发布方项目的“连接实例管理”中配置当前平台的连接实例。

配置管理 - 图5

发布策略

1)用于管理当前项目的“在线发布”和“离线发布”类型的发布策略;

2)“在线发布”的发布策略,用于将资源从当前项目发布到其它项目,需要先在接收方项目的接收策略中创建,在接收方创建后,会自动同步到此处,在此处启用后,则可用于发布权限的控制,以及资源的发布;

3)“离线发布”的发布策略,用于将资源从别的环境导入后,发布到当前项目,可在此处直接创建,设置接收方(项目-集群)信息,形成发布策略;

4)两种类型的发布策略,都可进入详情页配置发布方到接收方的映射信息,包括项目映射、任务依赖映射、参数组映射、资源组映射、数据源映射、队列映射、Hive库映射;

5)两种类型的策略,可用于控制资源的发布权限;
配置管理 - 图6

如下图,为“在线发布”类型的发布策略详情。

配置管理 - 图7

如下图,为“离线发布”类型的发布策略详情。

配置管理 - 图8

2种发布类型的发布策略,页面显示基本相同,主要的区别是离线发布的发布策略,配置的映射信息中,发布方的信息需要手动输入,在线发布的发布策略,接收方的映射信息,可以直接从接收方拉取选择。

下方表格对详情中映射配置的内容和用法进行说明:

映射名称 说明
项目映射 1)发布方存在多个项目时,可能会存在项目间任务依赖,此处用于配置任务间依赖的跨项目映射。
2)比如发布方dev_ods项目下的任务依赖dev_dw项目下的任务,接收方存在prd_ods和prd_dw项目,则需要进行项目依赖映射配置。
任务依赖映射 1)离线开发任务存在上下游依赖时,下游任务从发布方发布到接收方时,会检测上游任务依赖,目前会优先按照任务标识,再按照任务名称识别。
2)针对发布方和接收方上有依赖有差异,或者标识不相同时,可配置依赖映射。发布检测和执行实际的导入时,都会先进行依赖替换。
参数组映射 1)平台上的离线开发任务、数据传输等产品会引用参数组。
2)在进行发布时,系统会默认按照参数组名称识别。
3) 针对“同集群跨项目组”模式、“同项目跨集群”模式的发布,一般都需要使用参数组映射。
资源组映射 1)平台上离线开发任务会使用资源组,在进行发布时,系统会默认按照资源组名称识别。
2)未避免资源组名称修改带来的匹配失败,可配置资源组映射。
3)同时,针对“同项目跨集群”模式的发布,一般需要配置资源组映射(如使用了资源组)。
数据源映射 平台上离线开发任务、数据传输、数据质量中心等都会使用数据源。在进行发布时,系统会默认按照资源组名称识别。发布方和接收方对数据源的使用有差异时,需要配置映射。
队列映射 这里的队列指Yarn队列和Impala队列。针对“同集群跨项目组”模式的发布,由于接收方和发布方所在集群相同,发布方和接收方没有相同名称的队列,因此需要配置队列映射才能保证资源(指配置了队列的任务)发布成功。
Hive库映射 针对“同集群跨项目组”模式的发布,由于接收方和发布方所在集群相同,发布方和接收方没有相同名称的Hive库队列,因此需要配置Hive库映射才能保证资源(指Hive表)发布成功。

连接实例管理

连接实例管理用于配置发布方或接收方平台的连接信息,可在发布策略和接收策略中引用。系统预置了当前平台的连接实例。

配置管理 - 图9

如下图,为在线发布场景的发布方和接收方的配置说明。发布方需要维护发布策略和连接实例,接收方需要维护接收策略和连接实例。

配置管理 - 图10