关于310B模型推理速度优化的疑问
收藏回复举报
关于310B模型推理速度优化的疑问
t('forum.solved') 已解决
发表于2025-03-10 17:56:25
0 查看
想在310B上跑4路yolo模型的推理,目前跑yolo11n,yolo10n推理都在11-15ms左右,开启4batch输入并没有速度提升,耗时在50ms左右,量化也没有得到速度上的提升。请问这个推理时长对于310B来说是否是合理的,还有什么办法提升吗,想要实现30fps目前这个速度不太行。

本帖最后由 匿名用户2025/03/10 19:09:17 编辑

我要发帖子