华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
敬爱的管理人员,您好。 我在使用昇腾910b上使用Mindie V1.0.0部署deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 时,发现在一个TMUX窗口内会出现多个乱回答的现象,使用的Docker是2.0.T3.1-800I-A2-py311-openeuler24.03-lts,胡乱回答的举例如下: 然而,相同的Prompt下,使用A800+vllm部署则在一个TMUX窗口内未出现这种问题。
deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
2.0.T3.1-800I-A2-py311-openeuler24.03-lts
请问使用Mindie时是否是我有什么参数没调整好呢。 我的conf/config.json文件除了maxPrefill和MaxIter参数(全称我忘记了)外,皆使用的默认配置。 Post代码如下: ```python headers = { "Accept": "application/json", "Content-type": "application/json" } data = { "model": "Qwen2.5-32B", "messages": [{ 'role':'system', 'content':system_content, }, { "role": "user", "content": user_content, }], "max_tokens": max_tokens, "presence_penalty": 1.03, "frequency_penalty": 1.0, "seed": None, "temperature": 0.3, "top_p": 0.95, "stream": False } headers = { "Accept": "application/json", "Content-type": "application/json" } # 定义要请求的 URL url = '' # 使用 requests 发送 POST 请求 try: response = requests.post(url, headers=headers, data=json.dumps(data)) ``` 针对A800+vllm我使用的是OpenAI service 调用completion接口post。 问题描述完毕。 谢谢!
我要发帖子
敬爱的管理人员,您好。 我在使用昇腾910b上使用Mindie V1.0.0部署
然而,相同的Prompt下,使用A800+vllm部署则在一个TMUX窗口内未出现这种问题。
deepseek-ai/DeepSeek-R1-Distill-Qwen-32B时,发现在一个TMUX窗口内会出现多个乱回答的现象,使用的Docker是2.0.T3.1-800I-A2-py311-openeuler24.03-lts,胡乱回答的举例如下:请问使用Mindie时是否是我有什么参数没调整好呢。 我的conf/config.json文件除了maxPrefill和MaxIter参数(全称我忘记了)外,皆使用的默认配置。 Post代码如下: ```python headers = { "Accept": "application/json", "Content-type": "application/json" } data = { "model": "Qwen2.5-32B", "messages": [{ 'role':'system', 'content':system_content, }, { "role": "user", "content": user_content, }], "max_tokens": max_tokens, "presence_penalty": 1.03, "frequency_penalty": 1.0, "seed": None, "temperature": 0.3, "top_p": 0.95, "stream": False } headers = { "Accept": "application/json", "Content-type": "application/json" } # 定义要请求的 URL url = '' # 使用 requests 发送 POST 请求 try: response = requests.post(url, headers=headers, data=json.dumps(data)) ``` 针对A800+vllm我使用的是OpenAI service 调用completion接口post。 问题描述完毕。 谢谢!