300I DUO部署QWQ-32B模型推理时response中缺少<think>开始标签
收藏回复举报
300I DUO部署QWQ-32B模型推理时response中缺少<think>开始标签
t('forum.solved') 已解决
新人帖
发表于2025-04-10 10:07:18
0 查看

4张300I DUO显卡部署QWQ-32B模型,mindie镜像1.0.0-300I-Duo-py311-openeuler24.03-lts,进入镜像后对/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json进行了如下修改:

cke_9636.png

cke_10659.png

启动./bin/mindieservice_daemon正常拉起服务,而后使用postman对其进行测试,发现response中只有&lt;/think&gt;结束标签,缺少&lt;think&gt;开始标签。

cke_235.png

尝试使用llama.cpp加载QWQ-32b模型在cpu进行推理(将.safetensor格式转化为gguf格式并量化为q8_0),发现能够正常输出&lt;think&gt;开始标签。故怀疑为mindie中的bug导致&lt;think&gt;开始标签缺失。

cke_53595.png

cke_73614.png

cke_76095.png

我要发帖子