关于300I DUO 和 910B3 运行rerank模型与embedding模型 耗时问题
收藏回复举报
关于300I DUO 和 910B3 运行rerank模型与embedding模型 耗时问题
t('forum.solved') 已解决
发表于2025-01-21 14:33:04
0 查看
分别使用bge-large-zh-v1.5和bge-reranker-v2-m3在300I DUO和910B3两个设备上运行,embedding的耗时差别不大,但是rerank的耗时有10倍以上的差距 请问这是什么原因呢。

本帖最后由 匿名用户2025/01/21 15:26:05 编辑

我要发帖子