Qwen3-32B的推理加速
收藏回复举报
Qwen3-32B的推理加速
t('forum.solved') 已解决
新人帖
发表于2025-09-12 09:56:30
0 查看

我们公司已经采购8*64G -> Atlas 800I A2(8×64GB) 昇腾算力平台,  现在我们使用mindie 2.1-RC部署Qwen3-32B,有几个方向想了解:

1、使用精度测试和压力测试确认一下当前部署是否比较满足预期

2、还想测试一下Qwen3-32B-FP8动态加速的指标效果  

哪位大神帮忙指点一下

我要发帖子