请问4卡Atlas 300I DUO 服务器到底能不能支持 DeepSeek-R1-Distill-Llama-70B
收藏回复举报
请问4卡Atlas 300I DUO 服务器到底能不能支持 DeepSeek-R1-Distill-Llama-70B
t('forum.solved') 已解决
发表于2025-03-08 13:36:15
0 查看

通过docker镜像运行只能双卡运行,调整参数worldSize=8和npuDeviceIds 0-7 报错,使用Benchmark测试性能只有测别人官方测试的1/8左右的性能。请问是docker镜像设置的问题限制了性能还是不能4卡运行的问题导致性能不够?

cke_773.png

我要发帖子