华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
现在我的机器上有多张310p推理卡,编写了一个http程序接收请求,然后用ascendcl编写推理的部分。但是目前编写的程序中只用到了其中的一张卡。我想充分利用这几张卡,以在大量请求时能同时处理。
请问我该怎么做,官方文档中似乎只有单卡推理。
我要发帖子
现在我的机器上有多张310p推理卡,编写了一个http程序接收请求,然后用ascendcl编写推理的部分。但是目前编写的程序中只用到了其中的一张卡。我想充分利用这几张卡,以在大量请求时能同时处理。
请问我该怎么做,官方文档中似乎只有单卡推理。