11.1.1 双集群部署简介

双集群架构

本章介绍如果使用easyops部署双集群，其中一套集群用于线上，一套用于开发。

架构示意图

根据示意图可见，底层服务hdfs，yarn，hive，spark均有两个实例，其中两个hive实例共用一个metastore。上层服务hadoop_meta,azkaban,mammut集成两套集群，通过多服务实例依赖管理实现。

部署方案

首先使用easyops一键部署方案或者单独实例部署，完成一套独立集群的部署

在此基础上另外部署以下服务实例，（部署顺序至上而下）同时设置扩容服务的extra_vars.cluster_env=test

zookeeper

hdfs

yarn

hive

spark

对以下实例的client在azkaban exec节点进行扩容，同时设置扩容client的extra_vars.cluster_env=test

easytest

easydqc

easytransfer

同时对于以下服务进行相应的依赖或者配置修改

ranger

hadoop_meta

azkaban

mammut

各服务相应的操作见各服务说明文档，这里不进行展开。