mis-tei镜像run bge-m3,NPU内存溢出报错
收藏回复举报
mis-tei镜像run bge-m3,NPU内存溢出报错
t('forum.solved') 已解决
新人帖
发表于2025-05-14 10:52:47
0 查看
我的配置是910B,镜像是6.0的版本,使用docker部署起来一路正常。但是我使用ragflow接入之后,传入较大的pdf文件进行embeding之后,会报NPU的显存溢出。
error:超过7.5G的最大设置!我使用的是910B*8张显卡,单卡就有64G显存,我给tei分配了一个NPU,理论上64G也足够embeding了。我不知道这个7.5G是在哪里被限制了的?还是说有一个地方可以设置显存占用百分比的设置参数?

我要发帖子