华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我基于bert mask模型开发了服务应用。原本在nvidia环境下,服务走通且运行正常。现在一直到昇腾平台。除了模型的迁移,别的业务代码完全保持不变。出现问题现象如下:当有业务请求时,服务内存一直增长,不释放。请问什么原因?
注意是host内存增长,npu的显存正常。
1. 设备型号: 300i pro
2. 我们开发的代码是基于bert返回的信息再做业务规则(算法的业务模块)
3. torch 2.1.2, pip install的
请教各位,如何排查或者解决?谢谢
我要发帖子
我基于bert mask模型开发了服务应用。原本在nvidia环境下,服务走通且运行正常。现在一直到昇腾平台。除了模型的迁移,别的业务代码完全保持不变。出现问题现象如下:当有业务请求时,服务内存一直增长,不释放。请问什么原因?
注意是host内存增长,npu的显存正常。
1. 设备型号: 300i pro
2. 我们开发的代码是基于bert返回的信息再做业务规则(算法的业务模块)
3. torch 2.1.2, pip install的
请教各位,如何排查或者解决?谢谢