自己搭建的大语言模型可以使用MindIE加速推理吗
收藏回复举报
自己搭建的大语言模型可以使用MindIE加速推理吗
t('forum.solved') 已解决
发表于2025-03-08 01:35:12
0 查看

硬件平台:香橙派AI Pro(20T)芯片Ascend310B1

自己搭建的模型,目前的pytorch版本已经借助torch_npu成功运行在NPU上了,且可以成功推理。

不知道是只有特定的几个模型可以用MindIE来部署还是说任意的pytorch模型都可以通过MindIE部署来实现推理加速

还有就是使用MindIE部署之后,推理速度大概会有多大提升。

我的模型可以借助MindIE来部署吗

本帖最后由 匿名用户2025/03/10 09:41:41 编辑

我要发帖子