配置依赖抽取、推送、智能缓存

依赖抽取:数据任务或抽取管理中设置依赖执行后仅当猛犸的底层数据发送变更时,产品将自动完成抽取,推送,和缓存。

依赖抽取、推送、智能缓存实现的前提是需要在数据源,开启数仓同步按钮:

配置依赖抽取、推送、智能缓存 - 图1

同时还需要在有数上进行环境信息配置:

一、EasyData需要向有数提供如下信息:

      ENABLE_MAMMUT: 'true'
      MAMMUT_META_SERVER_LINK: "http://bigdata001.highso.com.cn:12081" #元数据中心metahub
      MAMMUT_META_SERVER_APPID: "metahub" #元数据中心metahub
      MAMMUT_META_SERVER_SECERT: "metahub" #元数据中心metahub

获取到信息之后,在有数的yaml文件里面的web&inner-web服务模块中进行配置

配置依赖抽取、推送、智能缓存 - 图2

二、有数向EasyData提供对应的信息

  • 有数向EasyData提供通知接口

猛犸会把推送的时间通过调用有数接口的方式通知有数:

{有数的ip}/api/dash/util/pushTableByMammut

实例参考:https://hy.wens.com.cn/api/dash/util/pushTableByMammut

三、调试阶段

中台底层对一张表进行产出推送。有数这边可以查看cache_table_task这张表,这个表里面会存储中台推送过来的数据: 配置依赖抽取、推送、智能缓存 - 图3

type为task的就是依赖推送过来的信息。如果没有task的数据只有notask数据,说明猛犸那边没有推送过来,需要检查猛犸那边调用接口是否有报错

配置之前的前置条件

1、EasyData和有数服务器之间网络要需要打通,客户的网络策略配置。
2、da&web&inner-web模块,配置中台Host信息,如果没有需要配置,如果有看一下是否有遗漏。host需要EasyData进行提供。

调试报错信息原因:

配置依赖抽取、推送、智能缓存 - 图4

MAMMUT_META_SERVER_APIID这个环境变量配置错误,需要改成MAMMUT_META_SERVER_APPID