昇腾社区首页
支持
消息
我的论坛主页
论坛首页
/
4张Atlas300I Duo卡，使用MindIE启动DeepSeekR1-32B推理，推理性能特别差，如何配置才能提升推理性能呢
收藏回复举报
4张Atlas300I Duo卡，使用MindIE启动DeepSeekR1-32B推理，推理性能特别差，如何配置才能提升推理性能呢
t('forum.solved') 已解决
新人帖
发表于2025-06-05 09:19:46
0 查看

NPU使用的是4张Atlast300I Duo，docker镜像使用的是swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-300I-Duo-py311-openeuler24.03-lts

cke_6912.png

BenchMark测试结果如下

benchmark.png

MindIE的config.json文件是

cke_8929.png

cke_14996.png

我要发帖子

我们使用cookie来确保您的高速浏览体验。继续浏览本站，即表示您同意我们使用cookie。查看详情