昇腾如何能使用llama3.1-70b进行推理?
收藏回复举报
昇腾如何能使用llama3.1-70b进行推理?
t('forum.solved') 已解决
发表于2024-11-20 23:05:22
0 查看

我想用70b的llama3.1大模型进行推理,但是如果直接按照官方的方法进行调用的话,会出现两个问题。
1.npu流会出现问题。

cke_251.png

2.单卡70b对显存要求太高了,会不够。

请问有什么方法能解决1.多卡推理。2.70b的超大模型推理,这些问题嘛?如果有,能给出官方文档链接嘛?

使用910b八卡机。

我要发帖子