环境变量相关说明
抽取条数调整:一批次抽取的条数:
TRANSFER_MIN_BATCH_SIZE
TRANSFER_MAX_BATCH_SIZE
配置模块:DE
案例: 每次抽取5500条
TRANSFER_MIN_BATCH_SIZE: 5500
TRANSFER_MAX_BATCH_SIZE: 5500
抽取的超时时间调整:
DE_FLOW_TIMEOUT
配置模块:TF
案例:抽取时间设置为6小时(默认毫秒ms)
DE_FLOW_TIMEOUT = 21600000
关闭首页的热门推荐:
HIDE_HOT_ITEMS
配置模块:web
案例:见图片
HIDE_HOT_ITEMS: 'true'
开启分钟级度量预警:
WARNING_FREQUENCY
配置模块:web & inner-web
案例:用户想要实现分钟级别的度量预警
WARNING_FREQUENCY: "minute"
导出图片实现高清效果
HD
配置模块:schedule & capture
案例:导出和推送的图片不清晰
HD: "true"
修改截图时间(8.10合并到了schedule模块下)
CAPTURE_WAIT_TIME
配置模块:capture
案例:数据库查询数据需要4分钟,但是有数的推送截图时间只有2分钟,这样有数就会截图失败,就会导致推送失败,可以添加环境变量增加截图时间(单位s)
CAPTURE_WAIT_TIME: 300
取数导出希望可以支持加密
EASY_FETCH_FRONTEND_EXPORT_LIMIT
配置模块:web
案例:用户要求自助取数导出后的数据可以进行加密
EASY_FETCH_FRONTEND_EXPORT_LIMIT:1
500数据量以下的 默认走前端导出 ,如果用户有导出加密的需求,必须都走后端导出 ,所以需要把这个500改成1
依赖抽取判断机制问题
ENABLE_EXTRACT_RELY_RESET
配置模块:web & inner-web
ENABLE_EXTRACT_RELY_RESET : true
依赖抽取的判断机制目前是以最近的一次更新时间做为对比,比如:表A更新的时间是2023-07-18 6:00中,表B是2023-07-18 3:00更新。表A当天产出了两次,一次是2023-07-18 6:00,一次是2023-07-18 7:00,表B当天只产出了一次2023-07-18 3:00。有一个抽取任务依赖了表A和表B,并选择了依赖抽取,设置为所有表都更新在抽取。当第二天表B更新了之后,这个抽取任务就会执行,原因是:表B是2023-07-19 3:00,和最近一次时间对比(2023-07-18 6:00)有数判断这张表更新了;同时也会判断表A是否更新,对比的日期就是最近一次时间(2023-07-18 6:00和2023-07-18 7:00对比)发现时间也不一样,有数也会判断表A也进行了更新,两张表都更新了,有数就会执行抽取(实际上表A在19号还没有到达更新时间)。所以需要通过环境变量在凌晨将表的更新时间进行重置,以当天的产出时间做为判断依据。
抽取失败自动重试次数
FAILED_TASK_RETRY_COUNT
配置模块:de
FAILED_TASK_RETRY_COUNT: 3
v8.6 前默认 3 之后默认 0 。
大数据量导出调整
ASYNC_EXPORT_EXCEL_LIMIT
配置模块:web
ASYNC_EXPORT_EXCEL_LIMIT: 2000000
大数据量导出默认100万,可以通过参数调整
预加载对列值配置
EXTRACT_QUEUE_LENGTH: 配置模块:smartcache ASYNC_EXPORT_EXCEL_LIMIT: 2 预加载队列目前默认是2
以上内容对您是否有帮助?