FAQ-impala元数据配置主动失效时间

问题描述:

impala 的catalog元数据使用占比90%,机器的内存不够无法再给impala增加内存,如何让catalo长时间未使用的元数据主动失效,以减小内存的压力

解决方法:

控制 Impala 元数据缓存(如表结构、分区信息、统计信息等)的 ​​自动失效超时时间​​(单位:秒)。当元数据缓存超过该时间未被主动刷新时,Impala 会自动将其标记为失效,后续查询将强制从元数据服务(如 Hive Metastore)重新加载最新元数据

invalidate_tables_timeout_s=43200

控制当 Impala 节点 ​​内存压力较大​​ 时,是否主动使元数据缓存失效以释放内存资源。若启用此策略,Impala 会在内存不足时优先清理元数据缓存,避免因缓存占用过多内存导致 OOM(内存溢出)或性能下降。

invalidate_tables_on_memory_pressure=true

FAQ-impala元数据主动失效 - 图1

添加两个参数,catalog重启+同步配置 FAQ-impala元数据主动失效 - 图2