qwen2.5部署
Cann版本为8.1 npu驱动为24.1.rc3 npu型号为8卡910b3
拉去下述镜像后运行qwen2.5报下述错误,程序一直卡在下面,使用npu-smi info命令,npu0和1有process,但显存占用很低,只有100多MB
docker pull quay.io/ascend/vllm-ascend:v0.7.3-dev

后续:
在Ascend镜像仓库mindie中拉取2.0.T3-800I-A2-py311-openeuler24.03-lts,安装vllm0.7.3,vllm-ascend0.7.3post1或vllm0.8.5,vllm-ascend0.8.5,运行qwen2.5均出现上述错误
qwen2.5部署
Cann版本为8.1 npu驱动为24.1.rc3 npu型号为8卡910b3
拉去下述镜像后运行qwen2.5报下述错误,程序一直卡在下面,使用npu-smi info命令,npu0和1有process,但显存占用很低,只有100多MB
docker pull quay.io/ascend/vllm-ascend:v0.7.3-dev
后续:
在Ascend镜像仓库mindie中拉取2.0.T3-800I-A2-py311-openeuler24.03-lts,安装vllm0.7.3,vllm-ascend0.7.3post1或vllm0.8.5,vllm-ascend0.8.5,运行qwen2.5均出现上述错误