qwen2.5部署
收藏回复举报
qwen2.5部署
t('forum.solved') 已解决
发表于2025-07-04 12:48:46
0 查看

qwen2.5部署

Cann版本为8.1 npu驱动为24.1.rc3 npu型号为8卡910b3
拉去下述镜像后运行qwen2.5报下述错误,程序一直卡在下面,使用npu-smi info命令,npu0和1有process,但显存占用很低,只有100多MB
docker pull quay.io/ascend/vllm-ascend:v0.7.3-dev

cke_569.jpeg

后续:
在Ascend镜像仓库mindie中拉取2.0.T3-800I-A2-py311-openeuler24.03-lts,安装vllm0.7.3,vllm-ascend0.7.3post1或vllm0.8.5,vllm-ascend0.8.5,运行qwen2.5均出现上述错误

我要发帖子