加载模型时出现out of memory报错提示 问题描述部署Service服务,加载LLaMA-65B模型时出现out of memory报错提示,如下图所示。 原因分析权重太大,内存不足。 解决步骤将config.json文件中ModelConfig的npuMemSize调小,比如调成8。 父主题: FAQ