vllm 0.6.2版多卡启动qw2.5模型服务成功,推理时报错
收藏回复举报
vllm 0.6.2版多卡启动qw2.5模型服务成功,推理时报错
t('forum.solved') 已解决
发表于2025-04-02 14:38:11
0 查看

出错详情:参考这里安装https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/Thirdpartyservitization/mindie_openthird_0016.html  ,单卡bash start_server.sh
运行qw2.5的7b 14b模型都能正常用openai格式推理。多卡时tp为2和4都试过一样的问题,

软硬件情况:300I Duo,mindie1.0.0正式版,在官方镜像(swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts)基础上运行install.sh安装的vllm。多卡时的启动命令如下,报错见txt附件

背景:想要使用qw2.5系列tool call 功能用在langgraph的mcp功能,mindie service下的openai接口运行附件curl.txt里的请求时会报错,只有glm3和glm4可以通过。所以尝试了vllm版的mindie,当前tp1即单芯片14b模型可以正常运行,但是单芯片跑14b太慢了,需要多卡跑

#!/bin/bash

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3
python -m vllm.entrypoints.openai.api_server  \
       --model=/home/data/nlp_openmodel/Qwen2.5-14B-Instruct \
       --trust-remote-code \
       --enforce-eager \
       --max-model-len 4096 \
       --worker-use-ray \
       -tp 4 \
       --port 8006 \
       --block-size 128 \
       --enable-auto-tool-choice \
       --tool-call-parser hermes

本帖最后由 匿名用户2025/04/02 14:38:57 编辑

我要发帖子