华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
您好,我目前想使用多线程来实现对多个输入数据的模型异步推理问题,但是无法实现真正意义上的异步,也查阅了相关资料,有两种说法:
1.python存在GIL问题,无法实现多线程的异步推理;
2.同一时间只能执行一个模型推理(model.execute),无法同时进行两个模型推理。
请问是因为上述两种原因吗?还是有其他的原因和解决办法呢?
我要发帖子
您好,我目前想使用多线程来实现对多个输入数据的模型异步推理问题,但是无法实现真正意义上的异步,也查阅了相关资料,有两种说法:
1.python存在GIL问题,无法实现多线程的异步推理;
2.同一时间只能执行一个模型推理(model.execute),无法同时进行两个模型推理。
请问是因为上述两种原因吗?还是有其他的原因和解决办法呢?