昇腾社区首页
支持
消息
我的论坛主页
论坛首页
/
baichuan2-7b推理显示npu out of memory：Tried to allocate 66.00 MiB (NPU 1; 0 bytes total capacity; 6.02 GiB already allocate）
收藏回复举报
baichuan2-7b推理显示npu out of memory：Tried to allocate 66.00 MiB (NPU 1; 0 bytes total capacity; 6.02 GiB already allocate）
t('forum.solved') 已解决
发表于2024-07-24 15:17:48
0 查看

模型推理时报错如下：

cke_768.png

这里为什么说0 bytes total capacity，通过npu-smi info命令查看内存不是0：

cke_5413.png

我要发帖子

我们使用cookie来确保您的高速浏览体验。继续浏览本站，即表示您同意我们使用cookie。查看详情