mindIE怎么用多npu推理llama3.x啊
收藏回复举报
mindIE怎么用多npu推理llama3.x啊
t('forum.solved') 已解决
发表于2024-10-25 16:20:30
0 查看

mindIE怎么用多npu推理llama3.x啊

我是按照官方说的去下载权重,它也没说要下载哪些权重啊?还是说都下载啊?(我反正全下载了,但是就是有问题)
下面是官方的方法:

cke_6318.png

进行推理的时候就有问题了。如下:
cke_10298.png

这个昇腾是真的非常非常非常非常非常难用啊!害

我要发帖子