sloth单独售卖依赖的中台部署步骤(广发证券案例)

大数据环境

用户自己的hadoop/cdh/fi

用户可能提供单独的一套yarn作为sloth计算集群,和数据存储所在的数仓集群不是同一个yarn, 因此可能没有hive或者不允许我们使用hive

中台必选安装组件

easy_aac

easy_account

mammut

bdms_meta

easy_console

easy_webmaster

easy_metahub

easy_access

easy_coop

easy_alert

安装过程

基础组件导入(注意导入的始终是sloth的计算yarn集群),参见cdh导入,必选导入的基础组件

Hdfs

Yarn

hive (如果没有,参考第二步)

如果没有hive或者不允许使用集群自带的hive,解决方案如下

创建一个mysql数据库,可以使用mammut的数据库实例

create database hive_for_mammut;
grant all privileges on hive_for_mammut.* to 'hive_for_mammut'@'%' identified by 'hive_for_mammut';
CREATE TABLE `DBS` (
  `DB_ID` bigint(20) NOT NULL,
  `DESC` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `DB_LOCATION_URI` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
  `NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `OWNER_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  `OWNER_TYPE` varchar(10) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
  PRIMARY KEY (`DB_ID`),
  UNIQUE KEY `UNIQUE_DATABASE` (`NAME`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
insert into DBS(DB_LOCATION_URI, NAME, OWNER_NAME, OWNER_TYPE) values ('hdfs://fake-cluster/hive_for_mammut.db', 'hive_for_mammut','sloth','USER');
创建文件hive_for_mammut.yml 内容如下,注意修改数据库地址为第二步创建的hive_for_mammut库的地址

- id: fake_hive
  name: fake_hive
  service: hive
  version: 2.1.1-0.1.14
  cluster: default
  exports:
    hive-site-client.xml: ''
    ranger_repo_name: easyops-hive
    hive_link: jdbc:hive2://fakehost.jd.163.org:10000/
    hive_metastore_jdbc_url: jdbc:mysql://数据库地址:3306/hive_for_mammut?use_boolean=true&user=hive_for_mammut&password=hive_for_mammut
    db:
      db_name: hive_for_mammut
      db_user: hive_for_mammut
      db_port: '3306'
      db_host: '数据库地址'
      db_password: hive_for_mammut
      db_driver_class: com.mysql.jdbc.Driver
    ranger_repo_id: '2'


hive_for_mammut.yml文件所在目录,执行以下脚本,注意修改管控地址
curl -X POST -H "Content-Type: text/plain" --data-binary @hive_for_mammut.yml "管控地址:8000/manager/api/v1/load_service_instances_yml"

一键部署中台

Mammut 高级选项

属性 类型
disable_init boolean true