问题现象描述

四机部署deepseekR1，启服务后发送推理请求，返回内容乱码，没有报错，例如下图：

放大

原因分析

用户使用的模型配置文件和官网文件有差异，导致返回异常。

解决措施

1. 模型权重目录里的所有配置文件请与ModelScope，HuggingFace等官方网站所上传的权重等文件进行对比。

2. 把模型权重目录里的所有配置文件和官网上的文件对齐之后，只修改config.json中的 model_type 更改为 deepseekv2（只有这一处修改），推理返回正常。