关于同样的文本在Mindie+昇腾910b上推理效果比vllm+A800上推理效果差的问题
收藏回复举报
关于同样的文本在Mindie+昇腾910b上推理效果比vllm+A800上推理效果差的问题
t('forum.solved') 已解决
发表于2025-02-19 17:58:13
0 查看

敬爱的管理人员,您好。 我在使用昇腾910b上使用Mindie V1.0.0部署deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 时,发现在一个TMUX窗口内会出现多个乱回答的现象,使用的Docker是2.0.T3.1-800I-A2-py311-openeuler24.03-lts,胡乱回答的举例如下: true 然而,相同的Prompt下,使用A800+vllm部署则在一个TMUX窗口内未出现这种问题。

请问使用Mindie时是否是我有什么参数没调整好呢。

我的conf/config.json文件除了maxPrefill和MaxIter参数(全称我忘记了)外,皆使用的默认配置。

Post代码如下:
```python
    headers = {
    "Accept": "application/json",
    "Content-type": "application/json"
}

data = {
    "model": "Qwen2.5-32B",
    "messages": [{
        'role':'system',
        'content':system_content,
    },
    {
    "role": "user",
    "content": user_content,
    }],
    "max_tokens": max_tokens,
    "presence_penalty": 1.03,
    "frequency_penalty": 1.0,
    "seed": None,
    "temperature": 0.3,
    "top_p": 0.95,
    "stream": False
}

headers = {
    "Accept": "application/json",
    "Content-type": "application/json"
}

# 定义要请求的 URL
url = ''
# 使用 requests 发送 POST 请求
try:
    response = requests.post(url, headers=headers, data=json.dumps(data))
    ```
针对A800+vllm我使用的是OpenAI service 调用completion接口post。
问题描述完毕。
谢谢!

我要发帖子