双集群测试功能（沙箱功能）中台配置步骤

按以下顺序执行

确认测试集群基础组件全部安装完成，列表如下

hadoop_meta

确认测试集群对应的yarn, hdfs 实例的高级选项包含属性cluster_env，且值为test

依赖管理中添加测试集群hdfs, yarn 实例

扩容scheduler组件，选择测试yarn集群resourcemanager组件部署的机器

在service组件所在的机器上，部署测试yarn的client组件

在kdc组件所在的机器上，部署测试hdfs的client组件

服务实例重启+同步配置‘’

mammut

在依赖管理中添加测试集群spark2, hive, hdfs, yarn

执行同步配置

webserver, executor 是高可用部署的话，依次重启每个组件

Azkaban

确认在azkaban exec节点，部署测试集群的yarn client ,hdfs client, hive client , spark2 client

依赖管理中添加测试集群hdfs, yarn，hive， spark2 实例

修改以下配置

同步配置，重启 exec，停服web

创建并上传hdfs资源

在azkaban exec部署的机器上执行以下命令

具体操作指令参考(注意替换路劲中的xxx和keytab对应的principal)

sudo -iu hdfs
cd /home/bdms/hdfs/xxx/client/xxx/keytab kinit -kt hdfs.keytab hdfs/hadoop5422.jd.163.org
cd ../config source hadoop-env.sh 
cd ../current/bin 
./hdfs dfs -mkdir /azkaban 
./hdfs dfs -chown mammut:hadoop /azkaban 
./hdfs dfs -chmod 0755 /azkaban
./hdfs dfs -mkdir /azkaban/resource 
./hdfs dfs -chown mammut:hadoop /azkaban/resource 
./hdfs dfs -chmod 0755 /azkaban/resource 
./hdfs dfs -mkdir /public 
./hdfs dfs -chown azkaban:hadoop /public 
./hdfs dfs -chmod 1777 /public 
./hdfs dfs -mkdir /public/sqoop_lib 
./hdfs dfs -chown azkaban:hadoop /public/sqoop_lib 
./hdfs dfs -copyFromLocal {base_dir}/azkaban_exec/package/hdfs_sqoop_lib-3.0.0-5.4 /public/sqoop_lib
./hdfs dfs -chmod 1777 /public/sqoop_lib