INFO-Impala 配置 scratch_dirs 溢写目录
更新时间: 2025-09-02 15:04:17
阅读 7
INFO-Impala 配置 scratch_dirs 溢写目录
问题描述/异常栈
Could not create files in any configured scratch directories (--scratch_dirs=/tmp/impala-scratch) on backend发现版本
全场景问题原因
根据报错里的 scratch_dirs 参数值确认:1、如果是 /tmp/impala-scratch,说明未单独配置 scratch_dirs 溢写目录,使用的是默认的 /tmp,找不到目录导致溢写失败,参考下文解决方案进行配置
2、如果不是 /tmp/impala-scratch,到报错的 backend 实例主机,确认对应的目录是否存在,确认不存在则根据具体值重新新建并授权
解决方案
为impalad设置溢写目录
1、在impalad 所有节点所在主机的数据盘目录下创建溢写目录,例如/mnt/data01/impala-scratch,并赋予impala读写权限
sudo chown -R impala /mnt/data01/impala/impala-scratch
sudo chmod -R 755 /mnt/data01/impala/impala-scratch
2、修改easyops上impalad组件的配置并应用所有impalad组件,在impalad配置项组中增加配置scratch_dirs,值填写样例(大小需要根据客户数据盘剩余量做评估,一般取剩余量的10%)
/mnt/data01/impala/impala-scratch:100G
作者:李凌威
文档反馈
以上内容对您是否有帮助?