docker镜像：quay.io/ascend/vllm-ascend:v0.8.5rc1

权重路径：/data1/Qwen3-32B

启动docker：

docker run -itd --privileged \ 

   --name=qwen3-32b \ 

   --net=host \ 

   --shm-size 500g \ 

   -e ASCEND_VISIBLE_DEVICES=0,1,2,3 \ 

   -v /etc/localtime:/etc/localtime:ro \ 

   -v /data1/Qwen3-32B:/data1/Qwen3-32B:ro \ 

   quay.io/ascend/vllm-ascend:v0.8.5rc1 \ 

   bash

进入docker：docker exec -it qwen3-32b bash

拉起服务，4卡推理：vllm serve /data1/Qwen3-32B/ --port 8000 -tp 4