vllm-Asdent 310p的镜像找不到linux on arm64的
收藏回复举报
vllm-Asdent 310p的镜像找不到linux on arm64的
t('forum.solved') 已解决
发表于2025-08-02 16:46:40
0 查看

使用昇腾NPU部署大语言模型主要有两种方法。一种是Mindie,它性能最好但是限制太多;另一种是vllm-Asdent,它限制少而且更新快,但是对于310p设备不太友好。

我现在遇到的一个问题是找不到支持linux on arm64的310p的镜像。官方让去的下载页面(https://quay.io/repository/ascend/vllm-ascend?tab=tags&tag=latest),显示应该是有arm64版本的但是下载不到,不知道是不是我下载方式有问题;下面是镜像版本(https://docker.aityp.com/image/quay.io/ascend/vllm-ascend:v0.9.2rc1-310p-openeuler),显示310p只有amd64版本? 

我要发帖子