请问如何使用mindie2.2T31镜像和2台910B部署DeepSeek-V3.2-Exp-W8A8?
收藏回复举报
请问如何使用mindie2.2T31镜像和2台910B部署DeepSeek-V3.2-Exp-W8A8?
t('forum.solved') 已解决
发表于2025-11-24 10:40:10
0 查看

请问有谁使用mindie2.2.T31镜像,和2台910B,部署成功了DeepSeek-V3.2-Exp-W8A8吗?

我们启动的时候,npu卡上显存增加到50+g的时候,就报错了。
似乎 atb_llm包不太支持 V3.2

报错截图如下:
cke_3981.png
看最后的地方,似乎是 atb-models中的flash_causal_deepseekv3_v3.py有个报错
File "/usr/local/Ascend/atb-models/atb_llm/models/deepseekv3/flash_causal_deepseekv3_v3.py", line 132, in prepare_padding_inputs

dep_inputs = dep_inputs[:5]

TypeError: 'NoneType' object is not subscriptable

本帖最后由 匿名用户2025/11/24 10:51:49 编辑

我要发帖子