transformers调用昇腾芯片多卡推理Qwen1.5-72B失败,所有参数被分配到同一npu中
收藏回复举报
transformers调用昇腾芯片多卡推理Qwen1.5-72B失败,所有参数被分配到同一npu中
新人帖
发表于2024-02-28 14:47:44
0 查看

cke_444.png

从图中可以看出,我已经利用transformer的device_map帮助我分出了各参数及应该在的npu卡的编号

cke_8575.png

但实际上,所有的参数最后都会被强制分配到分配的第一张卡,从transformer分配的底层来看,to(device)中,device也与device_map中分配的一致,但无论to(device)中的device是npu:1,npu:2还是npu:3,都会被分配到第一张分配的卡中,即npu:1,我试过从npu:0开始分配,结果是所有参数被分配到npu:0中,大佬们可有办法解决啊

我使用的是cann7.0.1,以docker方式运行,torch2.1.0,transformer4.38.1

本帖最后由 匿名用户2024/02/28 14:56:42 编辑

我要发帖子