出错详情:参考这里安装https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/Thirdpartyservitization/mindie_openthird_0016.html ,单卡bash start_server.sh
运行qw2.5的7b 14b模型都能正常用openai格式推理。多卡时tp为2和4都试过一样的问题,
软硬件情况:300I Duo,mindie1.0.0正式版,在官方镜像(swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts)基础上运行install.sh安装的vllm。多卡时的启动命令如下,报错见txt附件
背景:想要使用qw2.5系列tool call 功能用在langgraph的mcp功能,mindie service下的openai接口运行附件curl.txt里的请求时会报错,只有glm3和glm4可以通过。所以尝试了vllm版的mindie,当前tp1即单芯片14b模型可以正常运行,但是单芯片跑14b太慢了,需要多卡跑
出错详情:参考这里安装https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/Thirdpartyservitization/mindie_openthird_0016.html ,单卡bash start_server.sh
运行qw2.5的7b 14b模型都能正常用openai格式推理。多卡时tp为2和4都试过一样的问题,
软硬件情况:300I Duo,mindie1.0.0正式版,在官方镜像(swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts)基础上运行install.sh安装的vllm。多卡时的启动命令如下,报错见txt附件
背景:想要使用qw2.5系列tool call 功能用在langgraph的mcp功能,mindie service下的openai接口运行附件curl.txt里的请求时会报错,只有glm3和glm4可以通过。所以尝试了vllm版的mindie,当前tp1即单芯片14b模型可以正常运行,但是单芯片跑14b太慢了,需要多卡跑
#!/bin/bash export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 python -m vllm.entrypoints.openai.api_server \ --model=/home/data/nlp_openmodel/Qwen2.5-14B-Instruct \ --trust-remote-code \ --enforce-eager \ --max-model-len 4096 \ --worker-use-ray \ -tp 4 \ --port 8006 \ --block-size 128 \ --enable-auto-tool-choice \ --tool-call-parser hermes