拉的是swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts  。推理glm-4v-9B 报OOM 。

请问有减小显存消耗的方法吗 ？ 目前是不是还不支持多模态模型的量化？ 4张Atlas 300I pro，理论上总显存是够的，Atlas 300I pro卡是不是一个模型只能完整的加载到一张卡中？