同样的模型，同样的prompt ,在单块nvidia L40上跑，仅需要0.65s返回结果。请问在我现有的设备上（Atlas 300i pro） ，推理速度还有优化空间吗？ 
点赞
收藏
回复
分享
举报在2块Atlas 300i pro 上，开启mindie-service服务，跑Qwen3-8b，速度较慢 ，请问有加速方案吗？ 
已解决
已解决 同样的模型，同样的prompt ,在单块nvidia L40上跑，仅需要0.65s返回结果。请问在我现有的设备上（Atlas 300i pro） ，推理速度还有优化空间吗？ 我要发帖子
