300I DUO卡 使用mindie跑deepseek 70B模型 拉起服务 npu卡只有两个在跑
收藏回复举报
300I DUO卡 使用mindie跑deepseek 70B模型 拉起服务 npu卡只有两个在跑
t('forum.solved') 已解决
发表于2025-02-19 13:11:32
0 查看

设备为300I DUO卡,四卡(一卡双芯)

使用mindie镜像为 1.0.0-300I DUO版本

跑的模型是deepseek-R1-distill-llama-70B

config配置文件里面 worldsize 设置4 deviceid [0,1,2,3] 拉起服务化成功 但npu-smi info 显示只有两张卡在运行。

cke_73986.png

我想四张卡运行 worldsize 设置8 deviceid设置 [0,1,2,3,4,5,6,7] 会报错。

cke_74693.png

cke_75433.png

如何四卡运行推理?

另外还遇到两个问题,是否可以回答下:

1.使用300I DUO卡是否可以进行deepseek-R1-distill-llama-70B的稀疏量化,量化step1就报错内存不足,我看其他的文档中有写300I DUO卡不支持多卡量化?

2.使用mindie 1.0.0版本拉起deepseek-R1-distill-llama-70B推理服务化后,多次提问回答会卡死,这个是跟什么有关系?

我要发帖子