sloth单独售卖依赖的中台部署步骤(广发证券案例)
更新时间: 2023-02-03 18:44:51
阅读 28
sloth单独售卖依赖的中台部署步骤(广发证券案例)
大数据环境
用户自己的hadoop/cdh/fi
用户可能提供单独的一套yarn作为sloth计算集群,和数据存储所在的数仓集群不是同一个yarn, 因此可能没有hive或者不允许我们使用hive
中台必选安装组件
easy_aac
easy_account
mammut
bdms_meta
easy_console
easy_webmaster
easy_metahub
easy_access
easy_coop
easy_alert
安装过程
基础组件导入(注意导入的始终是sloth的计算yarn集群),参见cdh导入,必选导入的基础组件
Hdfs
Yarn
hive (如果没有,参考第二步)
如果没有hive或者不允许使用集群自带的hive,解决方案如下
创建一个mysql数据库,可以使用mammut的数据库实例
create database hive_for_mammut;
grant all privileges on hive_for_mammut.* to 'hive_for_mammut'@'%' identified by 'hive_for_mammut';
CREATE TABLE `DBS` (
`DB_ID` bigint(20) NOT NULL,
`DESC` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
`DB_LOCATION_URI` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin NOT NULL,
`NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
`OWNER_NAME` varchar(128) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
`OWNER_TYPE` varchar(10) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
PRIMARY KEY (`DB_ID`),
UNIQUE KEY `UNIQUE_DATABASE` (`NAME`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
insert into DBS(DB_LOCATION_URI, NAME, OWNER_NAME, OWNER_TYPE) values ('hdfs://fake-cluster/hive_for_mammut.db', 'hive_for_mammut','sloth','USER');
创建文件hive_for_mammut.yml 内容如下,注意修改数据库地址为第二步创建的hive_for_mammut库的地址
- id: fake_hive
name: fake_hive
service: hive
version: 2.1.1-0.1.14
cluster: default
exports:
hive-site-client.xml: ''
ranger_repo_name: easyops-hive
hive_link: jdbc:hive2://fakehost.jd.163.org:10000/
hive_metastore_jdbc_url: jdbc:mysql://数据库地址:3306/hive_for_mammut?use_boolean=true&user=hive_for_mammut&password=hive_for_mammut
db:
db_name: hive_for_mammut
db_user: hive_for_mammut
db_port: '3306'
db_host: '数据库地址'
db_password: hive_for_mammut
db_driver_class: com.mysql.jdbc.Driver
ranger_repo_id: '2'
在hive_for_mammut.yml文件所在目录,执行以下脚本,注意修改管控地址
curl -X POST -H "Content-Type: text/plain" --data-binary @hive_for_mammut.yml "管控地址:8000/manager/api/v1/load_service_instances_yml"
一键部署中台
Mammut 高级选项
属性 | 类型 | 值 |
---|---|---|
disable_init | boolean | true |
文档反馈
以上内容对您是否有帮助?