算法服务内存一直不释放,随着请求会一直增长,直到内存耗尽
收藏回复举报
算法服务内存一直不释放,随着请求会一直增长,直到内存耗尽
t('forum.solved') 已解决
发表于2024-09-03 18:16:26
0 查看

我基于bert mask模型开发了服务应用。原本在nvidia环境下,服务走通且运行正常。现在一直到昇腾平台。除了模型的迁移,别的业务代码完全保持不变。出现问题现象如下:当有业务请求时,服务内存一直增长,不释放。请问什么原因?

注意是host内存增长,npu的显存正常。

1. 设备型号: 300i pro

2. 我们开发的代码是基于bert返回的信息再做业务规则(算法的业务模块)

3. torch  2.1.2, pip install的

请教各位,如何排查或者解决?谢谢

我要发帖子