抽取条数调整:一批次抽取的条数:

TRANSFER_MIN_BATCH_SIZE

TRANSFER_MAX_BATCH_SIZE

配置模块:DE

案例: 每次抽取5500条

TRANSFER_MIN_BATCH_SIZE: 5500

TRANSFER_MAX_BATCH_SIZE: 5500

抽取的超时时间调整:

DE_FLOW_TIMEOUT

配置模块:TF

案例:抽取时间设置为6小时(默认毫秒ms)

DE_FLOW_TIMEOUT = 21600000

关闭首页的热门推荐:

环境变量相关说明 - 图1

HIDE_HOT_ITEMS

配置模块:web

案例:见图片

HIDE_HOT_ITEMS: 'true'

开启分钟级度量预警:

WARNING_FREQUENCY

配置模块:web & inner-web

案例:用户想要实现分钟级别的度量预警

WARNING_FREQUENCY: "minute"

导出图片实现高清效果

HD

配置模块:schedule & capture

案例:导出和推送的图片不清晰

HD: "true"

修改截图时间(8.10合并到了schedule模块下)

CAPTURE_WAIT_TIME

配置模块:capture

案例:数据库查询数据需要4分钟,但是有数的推送截图时间只有2分钟,这样有数就会截图失败,就会导致推送失败,可以添加环境变量增加截图时间(单位s)

CAPTURE_WAIT_TIME: 300

取数导出希望可以支持加密

EASY_FETCH_FRONTEND_EXPORT_LIMIT

配置模块:web

案例:用户要求自助取数导出后的数据可以进行加密

EASY_FETCH_FRONTEND_EXPORT_LIMIT:1

500数据量以下的 默认走前端导出 ,如果用户有导出加密的需求,必须都走后端导出 ,所以需要把这个500改成1

依赖抽取判断机制问题

ENABLE_EXTRACT_RELY_RESET

配置模块:web & inner-web

ENABLE_EXTRACT_RELY_RESET : true

依赖抽取的判断机制目前是以最近的一次更新时间做为对比,比如:表A更新的时间是2023-07-18 6:00中,表B是2023-07-18 3:00更新。表A当天产出了两次,一次是2023-07-18 6:00,一次是2023-07-18 7:00,表B当天只产出了一次2023-07-18 3:00。有一个抽取任务依赖了表A和表B,并选择了依赖抽取,设置为所有表都更新在抽取。当第二天表B更新了之后,这个抽取任务就会执行,原因是:表B是2023-07-19 3:00,和最近一次时间对比(2023-07-18 6:00)有数判断这张表更新了;同时也会判断表A是否更新,对比的日期就是最近一次时间(2023-07-18 6:00和2023-07-18 7:00对比)发现时间也不一样,有数也会判断表A也进行了更新,两张表都更新了,有数就会执行抽取(实际上表A在19号还没有到达更新时间)。所以需要通过环境变量在凌晨将表的更新时间进行重置,以当天的产出时间做为判断依据。

抽取失败自动重试次数

FAILED_TASK_RETRY_COUNT

配置模块:de

FAILED_TASK_RETRY_COUNT: 3

v8.6 前默认 3 之后默认 0 。

大数据量导出调整

ASYNC_EXPORT_EXCEL_LIMIT

配置模块:web

ASYNC_EXPORT_EXCEL_LIMIT: 2000000

大数据量导出默认100万,可以通过参数调整

预加载对列值配置

EXTRACT_QUEUE_LENGTH: 配置模块:smartcache ASYNC_EXPORT_EXCEL_LIMIT: 2 预加载队列目前默认是2