四张Atlas300I Duo,其中两张显存96G,两张显存48G,使用mindie-rc3镜像跑Qwen2.5-32B-Insrtuct报错
收藏回复举报
四张Atlas300I Duo,其中两张显存96G,两张显存48G,使用mindie-rc3镜像跑Qwen2.5-32B-Insrtuct报错
t('forum.solved') 已解决
发表于2025-01-13 17:11:58
0 查看

​基础环境:

Atlas300I Duo卡四张,其中两张显存96G,两张显存48G

系统:麒麟SP3

驱动文件版本:Ascend-hdk-310p-npu-driver_24.1.rc2_linux-aarch64.run

固件文件版本:Ascend-hdk-310p-npu-firmware_7.3.0.1.231.run

Docker镜像版本:1.0.RC3-300I-Duo-arm64

操作步骤:

1、启动容器,然后修改配置文件,修改httpsEnabled为False,修改interNodeTLSEnabled为False,修改ModelName以及ModelWeightPath为实际路径,配置worldSize为8,同步修改npuDeviceIds,其他均保持原状,将权重文件配置文件中的字节类型原参数bfloat16改为float16,其他均保持原状

2、在minid目录执行./bin/mindieservice_daemon操作,在最后报错,报错信息如下图

1.png

3、Atlas300I Duo卡信息如下图

2.png

我要发帖子