问题现象描述

部署service服务，加载LLaMA-65B模型时出现out of memory报错提示，如下图所示。

放大

原因分析

权重太大，内存不足。

解决措施

将config.json文件中ModelConfig的npuMemSize调小，比如调成8。