尝试了很多的办法,依然没有找到一个好的方式,来利用开发板的算力来推理大模型(比如:Qwen3-0.6B或者是deepseek-r1-distill-qwen-1.5B),其实如果单纯使用cpu推理是可以的,但这不是我想要的结果。
其次我想要尝试使用modelzoo中的Qwen3-0.6B-模型库-ModelZoo-昇腾社区,尝试使用mindie镜像来推理,但现在有如下疑问:
1.mindie中的镜像我看见Atlas200的不支持的硬件清单中,可以使用吗?
2.镜像下载的申请一直没有后续;如果可以使用mindie的话,哪一个版本是可以用在Atlas200上的?
3.如果模型有onnx格式的话(比如:onnx-community/Qwen3-0.6B-ONNX),能使用NPU推理吗?本人暂时还没有尝试成功,也没有找到方法
尝试了很多的办法,依然没有找到一个好的方式,来利用开发板的算力来推理大模型(比如:Qwen3-0.6B或者是deepseek-r1-distill-qwen-1.5B),其实如果单纯使用cpu推理是可以的,但这不是我想要的结果。
其次我想要尝试使用modelzoo中的Qwen3-0.6B-模型库-ModelZoo-昇腾社区,尝试使用mindie镜像来推理,但现在有如下疑问:
1.mindie中的镜像我看见Atlas200的不支持的硬件清单中,可以使用吗?
2.镜像下载的申请一直没有后续;如果可以使用mindie的话,哪一个版本是可以用在Atlas200上的?
3.如果模型有onnx格式的话(比如:onnx-community/Qwen3-0.6B-ONNX),能使用NPU推理吗?本人暂时还没有尝试成功,也没有找到方法