我在使用DeepSeek-R1-Distill-Qwen-14B模型时遇到了一个问题：
环境信息：mindie 2.0.T3.1-800I-A2-py311-openeuler24.03-lts镜像 问题现象：当使用torchrun进行纯模型推理时，回答正常 但通过MindIE Service的VLLM接口进行测试时，模型会在正常回答后附加大量无意义的文本（如"tier Peace该不解...null_MATW null...whatsAppyoung"等大量混乱文本）
请求示例（截图中显示）： 
有什么可能的解决方案来修复这个问题？是否与VLLM接口配置或MindIE Service的设置有关？
点赞
收藏
回复
分享
举报
已解决
我在使用DeepSeek-R1-Distill-Qwen-14B模型时遇到了一个问题：
环境信息：mindie 2.0.T3.1-800I-A2-py311-openeuler24.03-lts镜像 问题现象：当使用torchrun进行纯模型推理时，回答正常 但通过MindIE Service的VLLM接口进行测试时，模型会在正常回答后附加大量无意义的文本（如"tier Peace该不解...null_MATW null...whatsAppyoung"等大量混乱文本）
请求示例（截图中显示）：
curl -s -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{ "model": "DeepSeek-R1-Distill-Qwen-32B", "messages": [ { "role": "user", "content": "who are you and do you know chinese culture.please user chinese answer" } ], "max_tokens": 512, "presence_penalty": 1.03, "frequency_penalty": 1.0, "seed": null, "temperature": 0.5, "top_p": 0.95, "stream": false }' http://192.168.1.89:1025/v1/chat/completions有什么可能的解决方案来修复这个问题？是否与VLLM接口配置或MindIE Service的设置有关？