华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
硬件平台:香橙派AI Pro(20T)芯片Ascend310B1
自己搭建的模型,目前的pytorch版本已经借助torch_npu成功运行在NPU上了,且可以成功推理。
不知道是只有特定的几个模型可以用MindIE来部署还是说任意的pytorch模型都可以通过MindIE部署来实现推理加速
还有就是使用MindIE部署之后,推理速度大概会有多大提升。
我的模型可以借助MindIE来部署吗
本帖最后由 匿名用户 于 2025/03/10 09:41:41 编辑
我要发帖子
硬件平台:香橙派AI Pro(20T)芯片Ascend310B1
自己搭建的模型,目前的pytorch版本已经借助torch_npu成功运行在NPU上了,且可以成功推理。
不知道是只有特定的几个模型可以用MindIE来部署还是说任意的pytorch模型都可以通过MindIE部署来实现推理加速
还有就是使用MindIE部署之后,推理速度大概会有多大提升。
我的模型可以借助MindIE来部署吗