INFO-Impala 配置 scratch_dirs 溢写目录

问题描述/异常栈
Could not create files in any configured scratch directories (--scratch_dirs=/tmp/impala-scratch) on backend
发现版本
全场景
问题原因
根据报错里的 scratch_dirs 参数值确认:
1、如果是 /tmp/impala-scratch,说明未单独配置 scratch_dirs 溢写目录,使用的是默认的 /tmp,找不到目录导致溢写失败,参考下文解决方案进行配置
2、如果不是 /tmp/impala-scratch,到报错的 backend 实例主机,确认对应的目录是否存在,确认不存在则根据具体值重新新建并授权
解决方案

为impalad设置溢写目录
1、在impalad 所有节点所在主机的数据盘目录下创建溢写目录,例如/mnt/data01/impala-scratch,并赋予impala读写权限

sudo chown -R impala /mnt/data01/impala/impala-scratch
sudo chmod -R 755 /mnt/data01/impala/impala-scratch

2、修改easyops上impalad组件的配置并应用所有impalad组件,在impalad配置项组中增加配置scratch_dirs,值填写样例(大小需要根据客户数据盘剩余量做评估,一般取剩余量的10%)

/mnt/data01/impala/impala-scratch:100G

作者:李凌威