ACL多卡并行推理
收藏回复举报
ACL多卡并行推理
t('forum.solved') 已解决
新人帖
发表于2024-12-31 15:05:59
0 查看

现在我的机器上有多张310p推理卡,编写了一个http程序接收请求,然后用ascendcl编写推理的部分。但是目前编写的程序中只用到了其中的一张卡。我想充分利用这几张卡,以在大量请求时能同时处理。

请问我该怎么做,官方文档中似乎只有单卡推理。

我要发帖子