无法进行模型的异步推理问题
收藏回复举报
无法进行模型的异步推理问题
t('forum.solved') 已解决
发表于2023-03-08 16:18:34
0 查看

您好,我目前想使用多线程来实现对多个输入数据的模型异步推理问题,但是无法实现真正意义上的异步,也查阅了相关资料,有两种说法:

1.python存在GIL问题,无法实现多线程的异步推理;

2.同一时间只能执行一个模型推理(model.execute),无法同时进行两个模型推理。

请问是因为上述两种原因吗?还是有其他的原因和解决办法呢?

我要发帖子