300I Pro推理中显卡初始化、热身时间非常长,求解决办法
收藏回复举报
300I Pro推理中显卡初始化、热身时间非常长,求解决办法
t('forum.solved') 已解决
发表于2024-08-20 14:49:53
0 查看
显卡300I Pro,驱动24.1.rc1,CANN版本1.0.1.1,torch_npu版本2.1.0
在模型推理过程中,总过程大约25 s,但显卡的初始化和热身需要约20 s,对这个过程有什么加速办法么

我要发帖子