INFO-数据订阅

适用模块
离线开发-数据订阅
1、impala版本需要大于等于3.4.0-8.0.2版本/大于等于4.1.0-2.2.5.7版本
2、拥有猛犸订阅功能
具体说明
INFO-数据订阅 - 图1 INFO-数据订阅 - 图2
使用示例

一、数据订阅对接BI

MAMMUT_META_SERVER_LINK: "http://bigdata001.highso.com.cn:12081" #元数据中心metahub
MAMMUT_META_SERVER_APPID: "metahub" #元数据中心metahub
MAMMUT_META_SERVER_SECERT: "metahub" #元数据中心metahub
1、MAMMUT_META_SERVER_LINK 通过easyops-easymetahub-url
INFO-数据订阅 - 图3 2、MAMMUT_META_SERVER_APPID与MAMMUT_META_SERVER_SECERT可通过数据库查询
select app_id,secret from easymetahub.Music_MetaHubApp;
INFO-数据订阅 - 图4
3、有数提供接口示例:
http://{有数ip地址}/api/dash/util/pushTableByMammut
4、当前项目-集群下的订阅
INFO-数据订阅 - 图5 5、创建完确认任务是是否存在
INFO-数据订阅 - 图6 INFO-数据订阅 - 图7
6、订阅验证
6.1. 在页面运行有血缘产生的任务;
6.2. 查询猛犸日志,在bdms-web-info.log中检索"consume output record",检查有产出数据从元数据中心推送到平台。检查该数据上的内容,检查一下表名是否为上述1中产出的表。
6.3. 查询调用记录,检查data字段中的表是否为上面的产出表
select * from pf_output_subscribe_invoke where config_id in (select id from pf_output_subscribe_config where name '有数BI智能缓存订阅') order by id desc limit 1 \G;

二、数据订阅对接impala

1、当前项目-集群下的订阅
https://docs.popo.netease.com/lingxi/a1d842f84c934acf92703aa93716f69b?header=false#caiT-1666754083990
2、当前集群与全平台订阅
https://docs.popo.netease.com/lingxi/706fb07df1ad43dea65c43ac44b86666?appVersion=3.74.0&deviceType=0&popo_hidenativebar=1&popo_noindicator=1&disposable_login_token=1&appVersion=3.74.0&deviceType=0&popo_hidenativebar=1&popo_noindicator=1&disposable_login_token=1&appVersion=3.75.0&deviceType=0&popo_hidenativebar=1&popo_noindicator=1&disposable_login_token=1

作者:林帅