INFO-BI对接中台指标系统

适用模块

具体说明

使用示例

一、easyops同步BI信息

1、有数提供bi信息
youdata.serverUri ： 有数服务器的地址:80端口 http://{ip}:{port}
youdata.serverHost： 有数前端的url https://{youdata} 也可以是ip地址
2、easyops更新配置并同步重启

二、元数据中心配置信息获取

MAMMUT_METAHUB_LINK: "http://bigdata-demo3.jdlt.163.org:12081"  #元数据中心地址端口
MAMMUT_METAHUB_APPID: "metahub"  
MAMMUT_METAHUB_SECRET:  "metahub"  
MAMMUT_METAHUB_KAFKA_TOPIC: "metahub_youdata_online"
MAMMUT_METAHUB_KAFKA_SERVERS: "bigdata-demo3.jdlt.163.org:9092,bigdata-demo1.jdlt.163.org:9092,bigdata-demo2.jdlt.163.org:9092"  #kafka 连接地址

1、MAMMUT_METAHUB_LINK 可通过easyops-easymetahub-url获取
2、MAMMUT_META_SERVER_APPID与MAMMUT_META_SERVER_SECERT
select app_id,secret from easymetahub.Music_MetaHubApp;

3、MAMMUT_METAHUB_KAFKA_TOPIC
这个topic需要自行建立，可通过kafka-mamanger创建

4、MAMMUT_METAHUB_KAFKA_SERVERS 可通过easyops查看service_instance_detail接口返回结果

三、MAMMUT、指标信息获取

MAMMUT_SERVER_LINK: "http://bigdata001.highso.com.cn:10060" #bdms-meta ng地址和端口
MAMMUT_SERVER_MASTER_KEY: "5095d8fc-8d9e-407f-802b-f080c7997610" #youdata
MAMMUT_SERVER_API_KEY: "49d1f3e9-50f7-4309-bb72-471a3d561a57" #youdata
MAMMUT_INDEX_LINK: "http://bigdata001.highso.com.cn:11063" #中台指标系统URL

1、MAMMUT_SERVER_LINK可通过easyops-bdms_meta-url获取 2、MAMMUT_SERVER_API_KEY与MAMMUT_SERVER_MASTER_KEY
旧版：
http://easydemo.163yun.com/api/user/apikey/set?email=youdata （平台管理员执行）
新版统一域名后：
http://easydemo.163yun.com/easyDev_server/api/user/apikey/set?email=youdata
{ "msg": "success", "result": { "apikey": "49d1f3e9-50f7-4309-bb72-471a3d561a57", "masterkey": "5095d8fc-8d9e-407f-802b-f080c7997610", "email": "youdata" }, "code": 200, "cost": 5, "reqId": "4b49aee8a8c541398f7292a4b034b5b3" }
3、MAMMUT_INDEX_LINK可通过easyops查看service_instance_detail接口返回结果

四、确认元数据中心是否包含impala.url
1、查看impalaserverurl信息

select impalaserverurl from mammut.pf_hive_cluster \G;

2、确认元数据中心是否包含impala信息

select * from easymetahub.Music_MetaHubDataSource where type='hive' \G;

3、旧版本如不存在，手动更新
查询到id=1,根据id=1 添加字段info中的 impala.url 地址,:示例如下：

update easymetahub.Music_MetaHubDataSource set info = '{"url": "jdbc:mysql://59.111.211.50:3306/metastore?characterEncoding=utf-8&user=hive&password=hive", "user": "hive", "maxIdle": "30", "jdbc.url": "", "password": "hive", "username": "hive", "jdbc.user": "hive", "maxActive": "100", "impala.url": "jdbc:hive2://bigdata-demo4.jdlt.163.org:2182,bigdata-demo5.jdlt.163.org:2182,bigdata-demo6.jdlt.163.org:2182/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=impala-weblog-ha;principal=impala/_HOST@BDMS.163.COM", "jdbc.password": "hive", "testWhileIdle": "true", "driverClassName": "com.mysql.jdbc.Driver", "removeAbandoned": "true"}' where id = 1;

五、全量同步指标到有数

1、 curl --location --request GET 'http://{host}:{prot}/ei/api/sync/youdata/full?productId={productId}&clusterId={clusterId}' --header 'cookie:{token-key}={token}'
1.1、host 、port ：为指标系统部署的 Ip和端口
1.2、token-key LTS640之后为 aac-client-uid 之前为 ei-token
1.3、productId 、 clusterId 在指标系统页面的url可以看到 1.4、 token ,在指标系统页面中，f12 选择 application ，找到对应名称的值

上述操作完成、如出现异常，参照
http://doc.hz.netease.com/pages/viewpage.action?pageId=320183899

作者：林帅