背景

部署通用大模型，但是之前的gensql_tgi还是在的，所以相当于有多套模型需要使用显卡，所以指定显卡id就比较重要。

遇到的问题

在实际部署通用大模型的过程中，发现容器压根起不来，nvidia-smi查看指定的显卡压根没有分配上，当时排查一直认为是显卡资源不够，显卡配置不够支撑通用大模型跑起来，所以没有占用起来，但后面发现脚本里的CUDA_VISIBLE_DEVICES的值压根就没有用上，因为-e的环境变量写错了，写成了CUDA_VISIBLE_DEVISES，后续改掉之后就可以起来了。

原先脚本内容如下图所示：

之前一直没有问题的原因是：没有多模型部署，gensql_tgi不管写的什么数字，都默认固定到0，1上，所以一直没有出现过问题。