多集群对接步骤

按以下顺序操作

确认新集群基础组件全部安装完成，列表如下

服务 必选
yarn 是
spark2 是
hive 是
hdfs 是
kuyybi 可选
impala 可选

查看部署azkaban exec服务的机器，建议azkaban四个组件fc,web,exec,lib部署在同一个机器上

在azkaban exec部署的机器上，扩容以下组件：

服务 组件 是否必选扩容 其他
easy_test client 如果安装了easy_test实例，必选
easy_dqc client 如果安装了easy_dqc实例，必选
easy_transfer client 如果安装了easy_transfer实例，必选
yarn client 必选 新集群
spark2 client 必选 新集群
hive client 必选 新集群

修改新集群的基础组件高级选项

新集群标识符值为归属同一个集群的hdfs组件的cluster_name配置

服务 字段名 类型 值
yarn fs.defaultFS string 归属同一个集群的hdfs组件的fs.defaultFS配置
yarn nameservice string 新集群标识符
spark2 nameservice string 新集群标识符
hive nameservice string 新集群标识符
kuyybi nameservice string 新集群标识符
impala nameservice string 新集群标识符

安装对接新集群的azkaban实例

修改安装默认依赖

服务 操作
hdfs 仅选择新集群hive
yarn 仅选择新集群yarn
spark2 仅选择新集群spark2
hive 仅选择新集群hive
zookeeper 不要和原有集群部署的az使用同一个zk服务
mysql 由约定的部署架构决定，如果选择和对接其他集群的az共用一个mysql的话，不修改依赖

修改高级选项

字段名 类型 值
nameservice string 新集群标识符

修改默认配置

配置项组 配置 默认值 修改后建议值 备注
mysql db_name azkaban azkaban_2 由约定的部署架构决定，如果选择和对接其他集群的az共用一个mysql的话，按建议值修改；不依赖同一个mysql，不要此修改
mysql db_user azkaban azkaban_2 由约定的部署架构决定，如果选择和对接其他集群的az共用一个mysql的话，按建议值修改；不依赖同一个mysql，不要此修改
mysql db_password azkaban@163 azkaban_2 由约定的部署架构决定，如果选择和对接其他集群的az共用一个mysql的话，按建议值修改；不依赖同一个mysql，不要此修改
global cluster.name 新集群标识符

另存配置组，且应用配置到所有组件

安装azkaban

mammut

新增对接新集群的组件依赖

服务 操作 必选
hdfs 新增新集群hdfs 是
yarn 新增新集群yarn 是
spark2 新增新集群spark2 是
hive 新增新集群hive 是
azkaban 新增新集群azkaban 是
kuyybi 新增新集群kuyybi 如果安装，必选
impala 新增新集群impala 如果安装，必选

重启并勾选同步配置

metahub

新增对接alluxio的组件依赖

服务 操作
hive 新增新集群hive

重启并勾选同步配置

hadoop-meta

新增对接alluxio的组件依赖

服务 操作
yarn 新增新集群yarn
hdfs 新增新集群hdfs

查询新集群yarn实例的resourcemanager组件所在的机器，在该组机器上部署scheduler组件

查询service组件所在的机器，确认新集群yarn的client组件已部署在这台机器上

重启并勾选同步配置

开通新集群

选择一个mammut项目申请新集群，并审批新集群成功

easy_dqc

新增新集群的组件依赖

服务 操作
azkaban 新增对接了新集群的azkaban
yarn 新增新集群的yarn

高级选项 部署在对接新集群的azkaban exec所在机器上的client需要添加高级选项 字段名|类型|值

字段名 类型 值
nameservice string 新集群标识符

重启并勾选同步配置

easy_transfer

新增对接alluxio的组件依赖

服务 操作
azkaban 新增对接了新集群的azkaban

backend服务重启并勾选同步配置

easy_test

新增对接alluxio的组件依赖

服务 操作
azkaban 新增对接了新集群的azkaban

backend重启并勾选同步配置

easy_taskops

新增对接alluxio的组件依赖

服务 操作
azkaban 新增对接了新集群的azkaban
yarn 新增新集群yarn
spark2 新增新集群spark2

backend重启并勾选同步配置

新集群hive血缘插件配置

修改配置

配置项组 配置 类型 值
lineage.xml lineage.hive.catalog string 新集群标识符_hive_catalog

同步配置，重启hiveserver, metastore

新集群spark血缘插件配置

修改配置

配置项组 配置 类型 值
lineage_xml lineage.hive.catalog string 新集群标识符_hive_catalog
spark-defaults.conf spark.lineage.hive.catalog strint 新集群标识符_hive_catalog

同步配置