权重配置文件字段数据类型不一致导致服务启动失败
收藏回复举报
权重配置文件字段数据类型不一致导致服务启动失败
发表于2025-04-02 09:39:38
0 查看
【问题现象】 

客户反馈Deepseek双机推理时服务启动失败 

 

【分析过程】 

1、收集plog日志,分析发现存在HCCL异常CMD information dataType check fail. 

image.png

 

2、报错打印dataType校验不一致,导致两台机器通信失败,dataType一般对应权重配置文件里的数据类型,联系客户检查权重config.json文件里torch_dtype字段值是否一致,检查发现一台为fp16,一台为bf16,修改一致后服务正常启动 

 

【问题根因】 

两台机器权重config.json文件里torch_dtype字段值不一致,导致服务启动失败 

 

【解决方案】 

修改机器对应torch_dtype字段值保持一致 

我要发帖子