acl模型一次加载,多次推理的场景,如何在每次推理后释放内存?
收藏回复举报
acl模型一次加载,多次推理的场景,如何在每次推理后释放内存?
t('forum.solved') 已解决
发表于2024-08-30 18:49:41
0 查看

场景:香橙派20T运行yolov5模型,python环境

1. 用acl加载yolov5s.om模型

2. 执行推理1,业务处理1

2. 执行推理2,业务处理2

.......

2. 执行推理3,业务处理3

3. 结束,acl资源释放

目前的问题:

在执行多次推理过程中,内存一直在增长,直到达到24G内存上线,进程被系统kill掉

希望达到的效果:

多次推理过程内存可以执行一次释放一次,不会持续增长。

附主要代码:

cke_21866.png

cke_22537.png

cke_23326.png

我要发帖子