双集群测试功能（沙箱功能）中台配置步骤

    按以下顺序执行

    确认测试集群基础组件全部安装完成，列表如下

    服务 必选
    yarn 是
    spark2 是
    hive 是
    hdfs 是

    hadoop_meta

    确认测试集群对应的yarn, hdfs 实例的高级选项包含属性cluster_env，且值为test

    依赖管理中添加测试集群hdfs, yarn 实例

    扩容scheduler组件，选择测试yarn集群resourcemanager组件部署的机器

    在service组件所在的机器上，部署测试yarn的client组件

    在kdc组件所在的机器上，部署测试hdfs的client组件

    服务实例重启+同步配置‘’

    mammut

    在依赖管理中添加测试集群spark2, hive, hdfs, yarn

    执行同步配置

    webserver, executor 是高可用部署的话，依次重启每个组件

    Azkaban

    确认在azkaban exec节点，部署测试集群的yarn client ,hdfs client, hive client , spark2 client

    依赖管理中添加测试集群hdfs, yarn，hive， spark2 实例

    修改以下配置

    配置项组 配置 类型 值
    global enable_dev_cluster bool true

    同步配置，重启 exec，停服web

    创建并上传hdfs资源

    在azkaban exec部署的机器上执行以下命令

    具体操作指令参考(注意替换路劲中的xxx和keytab对应的principal)

    sudo -iu hdfs
cd /home/bdms/hdfs/xxx/client/xxx/keytab kinit -kt hdfs.keytab hdfs/hadoop5422.jd.163.org
cd ../config source hadoop-env.sh 
cd ../current/bin 
./hdfs dfs -mkdir /azkaban 
./hdfs dfs -chown mammut:hadoop /azkaban 
./hdfs dfs -chmod 0755 /azkaban
./hdfs dfs -mkdir /azkaban/resource 
./hdfs dfs -chown mammut:hadoop /azkaban/resource 
./hdfs dfs -chmod 0755 /azkaban/resource 
./hdfs dfs -mkdir /public 
./hdfs dfs -chown azkaban:hadoop /public 
./hdfs dfs -chmod 1777 /public 
./hdfs dfs -mkdir /public/sqoop_lib 
./hdfs dfs -chown azkaban:hadoop /public/sqoop_lib 
./hdfs dfs -copyFromLocal {base_dir}/azkaban_exec/package/hdfs_sqoop_lib-3.0.0-5.4 /public/sqoop_lib
./hdfs dfs -chmod 1777 /public/sqoop_lib