4张300I DUO显卡部署QWQ-32B模型,mindie镜像1.0.0-300I-Duo-py311-openeuler24.03-lts,进入镜像后对/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json进行了如下修改:


启动./bin/mindieservice_daemon正常拉起服务,而后使用postman对其进行测试,发现response中只有</think>结束标签,缺少<think>开始标签。

尝试使用llama.cpp加载QWQ-32b模型在cpu进行推理(将.safetensor格式转化为gguf格式并量化为q8_0),发现能够正常输出<think>开始标签。故怀疑为mindie中的bug导致<think>开始标签缺失。



4张300I DUO显卡部署QWQ-32B模型,mindie镜像1.0.0-300I-Duo-py311-openeuler24.03-lts,进入镜像后对/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json进行了如下修改:
启动./bin/mindieservice_daemon正常拉起服务,而后使用postman对其进行测试,发现response中只有</think>结束标签,缺少<think>开始标签。
尝试使用llama.cpp加载QWQ-32b模型在cpu进行推理(将.safetensor格式转化为gguf格式并量化为q8_0),发现能够正常输出<think>开始标签。故怀疑为mindie中的bug导致<think>开始标签缺失。