多机无法拉起DeepSeek-R1模型，modeling_utils.py报错
2025/03/07
169
问题信息
| 问题来源 | 产品大类 | 关键字 |
|---|---|---|
| 现网 | 模型推理 | TLS，HCCL，AllReduce，通信，DeepSeek，推理 |
问题现象描述
在服务化拉起过程中，若出现if metadata.get("format") not in ["pt", "tf", "flax", "mix"]: AttributeError: "NoneType" object has no attribute 'get';报错。
原因分析
输入的权重中缺少metadata字段。
解决措施
- 排查日志modeling_utils.py报错。
- 安装更新transformers版本为 4.46.3。