Atlas 300I duo 96G 单卡部署Qwen3-32B正常,但两张卡部署失败报错
收藏回复举报
Atlas 300I duo 96G 单卡部署Qwen3-32B正常,但两张卡部署失败报错
t('forum.solved') 已解决
发表于2025-12-11 17:46:07
0 查看

一、部署环境

服务器:taishan 200 2*kunpeng920 4826 内存:320G 存储:1.7T

NPU:2*Atlas 300I duo 96G

NPU驱动与固件:Ascend-hdk-310p-npu-driver_25.2.0_linux-aarch64.run、Ascend-hdk-310p-npu-firmware_7.7.0.6.236.run

OS:openEuler 22.03 LTS SP3

权重模型:Qwen/Qwen3-32B

Docker:26.1.4, build 5650f9b

MindIE: 2.1.RC2-300I-Duo-py311-openeuler24.03-lts

二、问题

1、单张Atlas 300I duo 96G卡调用部署qwen3-32B,编辑/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json中关键参数"npuDeviceIds" : [[0,1]],和"worldSize" : 2,能正常启动服务并做推理,如图:

cke_51447.png

图一

cke_52756.png

图二

2、两张Atlas 300I duo 96G卡调用部署qwen3-32B,编辑/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json中关键参数"npuDeviceIds" : [[0,1,2,3]],和"worldSize" : 4,服务不能正常启动,报错如图:

cke_75029.png

图一

cke_78071.png

图二

是只支持单卡吗?但我通过MindIE模型支持列表-昇腾社区查看模型支持列表里面,显示是支持2卡的

cke_120134.png

是哪个地方出了问题呢?

本帖最后由 匿名用户2025/12/12 09:09:36 编辑

我要发帖子