华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我想用70b的llama3.1大模型进行推理,但是如果直接按照官方的方法进行调用的话,会出现两个问题。 1.npu流会出现问题。
2.单卡70b对显存要求太高了,会不够。
请问有什么方法能解决1.多卡推理。2.70b的超大模型推理,这些问题嘛?如果有,能给出官方文档链接嘛?
使用910b八卡机。
我要发帖子
我想用70b的llama3.1大模型进行推理,但是如果直接按照官方的方法进行调用的话,会出现两个问题。
1.npu流会出现问题。
2.单卡70b对显存要求太高了,会不够。
请问有什么方法能解决1.多卡推理。2.70b的超大模型推理,这些问题嘛?如果有,能给出官方文档链接嘛?
使用910b八卡机。