华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
昇腾论坛
0
/100
支持
消息
我的论坛主页
论坛首页
/
mis-tei镜像run bge-m3,NPU内存溢出报错
点赞
0
收藏
0
回复
0
分享
举报
只看楼主
mis-tei镜像run bge-m3,NPU内存溢出报错
已解决
新人帖
发表于2025-05-14 10:52:47
0
查看
我的配置是910B,镜像是6.0的版本,使用docker部署起来一路正常。但是我使用ragflow接入之后,传入较大的pdf文件进行embeding之后,会报NPU的显存溢出。
error:超过7.5G的最大设置!我使用的是910B*8张显卡,单卡就有64G显存,我给tei分配了一个NPU,理论上64G也足够embeding了。我不知道这个7.5G是在哪里被限制了的?还是说有一个地方可以设置显存占用百分比的设置参数?
匿名回复
发表
我要发帖子
我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。
查看详情
error:超过7.5G的最大设置!我使用的是910B*8张显卡,单卡就有64G显存,我给tei分配了一个NPU,理论上64G也足够embeding了。我不知道这个7.5G是在哪里被限制了的?还是说有一个地方可以设置显存占用百分比的设置参数?