整体说明

配置管理用于配置跨环境在线发布的发布和接收配置,通常由数据团队的管理者或架构师等角色来使用。此外,针对特定场景下页需要对资源进行映射配置,这些工作可由数据开发人员,或者也有架构师等角色来配置。

对于项目负责人、管理员,以及获取了权限的成员,可在发布中心左下角看到“配置管理”的入口。

配置管理 - 图1

配置管理包含发布策略、接收策略、连接实例管理等子模块,是一个项目粒度的模块,可配置当前项目下所以已开通集群的策略。

配置管理 - 图2

接收配置

1)用于管理当前项目的接收策略;

2)通过新建接收策略,可在发布方创建并绑定一个发布策略,以及修改时也会同步至发布方;

3)在新建接收策略时,可指定一些策略,比如“接收工单自动审批”、““工单审批通过后设置”的默认设置”、““资源负责人设置”的默认设置”、““已有资源负责人保持”的默认设置”等,该配置会同步至发布方的发布策略;

4)接收策略可用于控制“在线发布”场景下,接收方的发布包发布工单审批的权限;

5)如果是非同平台间的发布场景,则需要先在“连接实例管理”中配置发布方的连接实例,以及在发布方项目的“连接实例管理”中配置当前平台的连接实例。

配置管理 - 图3

发布配置

1)用于管理当前项目的“在线发布”和“离线发布”类型的发布策略;

2)“在线发布”的发布策略,用于将资源从当前项目发布到其它项目,需要先在接收方项目的接收策略中创建,在接收方创建后,会自动同步到此处,在此处启用后,则可用于发布权限的控制,以及资源的发布;

3)“离线发布”的发布策略,用于将资源从别的环境导入后,发布到当前项目,可在此处直接创建,设置接收方(项目-集群)信息,形成发布策略;

4)两种类型的发布策略,都可进入详情页配置发布方到接收方的映射信息,包括项目映射、任务依赖映射、参数组映射、资源组映射、数据源映射、队列映射、Hive库映射;

5)两种类型的策略,可用于控制资源的发布权限;

配置管理 - 图4

如下图,为“在线发布”类型的发布策略详情。

配置管理 - 图5

如下图,为“离线发布”类型的发布策略详情。

配置管理 - 图6

2种发布类型的发布策略,页面显示基本相同,主要的区别是离线发布的发布策略,配置的映射信息中,发布方的信息需要手动输入,在线发布的发布策略,接收方的映射信息,可以直接从接收方拉取选择。

下方表格对详情中映射配置的内容和用法进行说明:

映射名称 说明
项目映射 1)发布方存在多个项目时,可能会存在项目间任务依赖,此处用于配置任务间依赖的跨项目映射。
2)比如发布方dev_ods项目下的任务依赖dev_dw项目下的任务,接收方存在prd_ods和prd_dw项目,则需要进行项目依赖映射配置。
任务依赖映射 1)离线开发任务存在上下游依赖时,下游任务从发布方发布到接收方时,会检测上游任务依赖,目前会优先按照任务标识,再按照任务名称识别。
2)针对发布方和接收方上有依赖有差异,或者标识不相同时,可配置依赖映射。发布检测和执行实际的导入时,都会先进行依赖替换。
参数组映射 1)平台上的离线开发任务、数据传输等产品会引用参数组。
2)在进行发布时,系统会默认按照参数组名称识别。
3) 针对“同集群跨项目组”模式、“同项目跨集群”模式的发布,一般都需要使用参数组映射。
资源组映射 1)平台上离线开发任务会使用资源组,在进行发布时,系统会默认按照资源组名称识别。
2)未避免资源组名称修改带来的匹配失败,可配置资源组映射。
3)同时,针对“同项目跨集群”模式的发布,一般需要配置资源组映射(如使用了资源组)。
数据源映射 平台上离线开发任务、数据传输、数据质量中心等都会使用数据源。在进行发布时,系统会默认按照资源组名称识别。发布方和接收方对数据源的使用有差异时,需要配置映射。
队列映射 这里的队列指Yarn队列。针对“同集群跨项目组”模式的发布,由于接收方和发布方所在集群相同,发布方和接收方没有相同名称的Yarn队列,因此需要配置Yarn队列映射才能保证资源(指配置了Yarn队列的任务)发布成功。
Hive库映射 针对“同集群跨项目组”模式的发布,由于接收方和发布方所在集群相同,发布方和接收方没有相同名称的Hive库队列,因此需要配置Hive库映射才能保证资源(指Hive表)发布成功。

连接实例管理

连接实例管理用于配置发布方或接收方平台的连接信息,可在发布策略和接收策略中引用。系统预置了当前平台的连接实例。

配置管理 - 图7

如下图,为在线发布场景的发布方和接收方的配置说明。发布方需要维护发布策略和连接实例,接收方需要维护接收策略和连接实例。

配置管理 - 图8