300I-Duo服务器使用vllm-ascend框架运行Qwen3-VL-32B-Instruct成功,但调用就会报错
收藏回复举报
300I-Duo服务器使用vllm-ascend框架运行Qwen3-VL-32B-Instruct成功,但调用就会报错
t('forum.solved') 已解决
发表于2025-11-25 18:51:48
0 查看
运行脚本:ASCEND_LAUNCH_BLOCKING=1 ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 ASCEND_SOC_VERSION=Ascend310P vllm serve /home/aise/artifacts/Qwen3-VL-32B-Instruct/ \ 

--served-model-name qwen3vl \ 

--dtype float16 \ 

--max_model_len 1024 \ 

--max-num-batched-tokens 1024 \ 

--tensor-parallel-size 4 \ 

--gpu-memory-utilization 0.6 \ 

--swap-space 8 \ 

--no-enable-prefix-caching \ 

--disable-custom-all-reduce \ 

--enforce-eager  

测试脚本: 

curl http://10.10.206.123:8000/v1/chat/completions \ 

  -H "Content-Type: application/json" \ 

  -d '{ 

    "model": "qwen3vl", 

    "messages": [ 

      {"role": "user", "content": "你好,请介绍一下自己"} 

    ], 

    "max_tokens": 100 

  }'

报错如下:

cke_2690.png

cke_3499.png

我要发帖子