设备为300I DUO卡,四卡(一卡双芯)
使用mindie镜像为 1.0.0-300I DUO版本
跑的模型是deepseek-R1-distill-llama-70B
config配置文件里面 worldsize 设置4 deviceid [0,1,2,3] 拉起服务化成功 但npu-smi info 显示只有两张卡在运行。

我想四张卡运行 worldsize 设置8 deviceid设置 [0,1,2,3,4,5,6,7] 会报错。


如何四卡运行推理?
另外还遇到两个问题,是否可以回答下:
1.使用300I DUO卡是否可以进行deepseek-R1-distill-llama-70B的稀疏量化,量化step1就报错内存不足,我看其他的文档中有写300I DUO卡不支持多卡量化?
2.使用mindie 1.0.0版本拉起deepseek-R1-distill-llama-70B推理服务化后,多次提问回答会卡死,这个是跟什么有关系?
设备为300I DUO卡,四卡(一卡双芯)
使用mindie镜像为 1.0.0-300I DUO版本
跑的模型是deepseek-R1-distill-llama-70B
config配置文件里面 worldsize 设置4 deviceid [0,1,2,3] 拉起服务化成功 但npu-smi info 显示只有两张卡在运行。
我想四张卡运行 worldsize 设置8 deviceid设置 [0,1,2,3,4,5,6,7] 会报错。
如何四卡运行推理?
另外还遇到两个问题,是否可以回答下:
1.使用300I DUO卡是否可以进行deepseek-R1-distill-llama-70B的稀疏量化,量化step1就报错内存不足,我看其他的文档中有写300I DUO卡不支持多卡量化?
2.使用mindie 1.0.0版本拉起deepseek-R1-distill-llama-70B推理服务化后,多次提问回答会卡死,这个是跟什么有关系?