配置管理
整体说明
配置管理用于配置跨环境在线发布的发布和接收配置,通常由数据团队的管理者或架构师等角色来使用。此外,针对特定场景下页需要对资源进行映射配置,这些工作可由数据开发人员,或者也有架构师等角色来配置。
对于项目负责人、管理员,以及获取了权限的成员,可在发布中心左下角看到“配置管理”的入口。
配置管理包含发布策略、接收策略、连接实例管理等子模块,是一个项目粒度的模块,可配置当前项目下所以已开通集群的策略。
接收配置
1)用于管理当前项目的接收策略;
2)通过新建接收策略,可在发布方创建并绑定一个发布策略,以及修改时也会同步至发布方;
3)在新建接收策略时,可指定一些策略,比如“接收工单自动审批”、““工单审批通过后设置”的默认设置”、““资源负责人设置”的默认设置”、““已有资源负责人保持”的默认设置”等,该配置会同步至发布方的发布策略;
4)接收策略可用于控制“在线发布”场景下,接收方的发布包发布工单审批的权限;
5)如果是非同平台间的发布场景,则需要先在“连接实例管理”中配置发布方的连接实例,以及在发布方项目的“连接实例管理”中配置当前平台的连接实例。
发布配置
1)用于管理当前项目的“在线发布”和“离线发布”类型的发布策略;
2)“在线发布”的发布策略,用于将资源从当前项目发布到其它项目,需要先在接收方项目的接收策略中创建,在接收方创建后,会自动同步到此处,在此处启用后,则可用于发布权限的控制,以及资源的发布;
3)“离线发布”的发布策略,用于将资源从别的环境导入后,发布到当前项目,可在此处直接创建,设置接收方(项目-集群)信息,形成发布策略;
4)两种类型的发布策略,都可进入详情页配置发布方到接收方的映射信息,包括项目映射、任务依赖映射、参数组映射、资源组映射、数据源映射、队列映射、Hive库映射;
5)两种类型的策略,可用于控制资源的发布权限;
如下图,为“在线发布”类型的发布策略详情。
如下图,为“离线发布”类型的发布策略详情。
2种发布类型的发布策略,页面显示基本相同,主要的区别是离线发布的发布策略,配置的映射信息中,发布方的信息需要手动输入,在线发布的发布策略,接收方的映射信息,可以直接从接收方拉取选择。
下方表格对详情中映射配置的内容和用法进行说明:
映射名称 | 说明 |
---|---|
项目映射 | 1)发布方存在多个项目时,可能会存在项目间任务依赖,此处用于配置任务间依赖的跨项目映射。 2)比如发布方dev_ods项目下的任务依赖dev_dw项目下的任务,接收方存在prd_ods和prd_dw项目,则需要进行项目依赖映射配置。 |
任务依赖映射 | 1)离线开发任务存在上下游依赖时,下游任务从发布方发布到接收方时,会检测上游任务依赖,目前会优先按照任务标识,再按照任务名称识别。 2)针对发布方和接收方上有依赖有差异,或者标识不相同时,可配置依赖映射。发布检测和执行实际的导入时,都会先进行依赖替换。 |
参数组映射 | 1)平台上的离线开发任务、数据传输等产品会引用参数组。 2)在进行发布时,系统会默认按照参数组名称识别。 3) 针对“同集群跨项目组”模式、“同项目跨集群”模式的发布,一般都需要使用参数组映射。 |
资源组映射 | 1)平台上离线开发任务会使用资源组,在进行发布时,系统会默认按照资源组名称识别。 2)未避免资源组名称修改带来的匹配失败,可配置资源组映射。 3)同时,针对“同项目跨集群”模式的发布,一般需要配置资源组映射(如使用了资源组)。 |
数据源映射 | 平台上离线开发任务、数据传输、数据质量中心等都会使用数据源。在进行发布时,系统会默认按照资源组名称识别。发布方和接收方对数据源的使用有差异时,需要配置映射。 |
队列映射 | 这里的队列指Yarn队列。针对“同集群跨项目组”模式的发布,由于接收方和发布方所在集群相同,发布方和接收方没有相同名称的Yarn队列,因此需要配置Yarn队列映射才能保证资源(指配置了Yarn队列的任务)发布成功。 |
Hive库映射 | 针对“同集群跨项目组”模式的发布,由于接收方和发布方所在集群相同,发布方和接收方没有相同名称的Hive库队列,因此需要配置Hive库映射才能保证资源(指Hive表)发布成功。 |
连接实例管理
连接实例管理用于配置发布方或接收方平台的连接信息,可在发布策略和接收策略中引用。系统预置了当前平台的连接实例。
如下图,为在线发布场景的发布方和接收方的配置说明。发布方需要维护发布策略和连接实例,接收方需要维护接收策略和连接实例。
以上内容对您是否有帮助?