华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我们在非国产化的项目里一直是用TritonServer(onnxruntime)做推理,我想问下昇腾有类似的推理框架吗?或者有没有适配昇腾npu的TritonServer版本?
我们以前尝试过把onnx模型转成om模型然后用acl库推理,但是社区里只有用代码调用的示例,如果转成om格式,华为这边有类似的推理框架吗?我们这块系统要处理的图片数据量比较大,要保证呑吐量,我们自己写代码调的话,并发性、显存这些环节可能处理不好
我要发帖子
我们在非国产化的项目里一直是用TritonServer(onnxruntime)做推理,我想问下昇腾有类似的推理框架吗?或者有没有适配昇腾npu的TritonServer版本?
我们以前尝试过把onnx模型转成om模型然后用acl库推理,但是社区里只有用代码调用的示例,如果转成om格式,华为这边有类似的推理框架吗?我们这块系统要处理的图片数据量比较大,要保证呑吐量,我们自己写代码调的话,并发性、显存这些环节可能处理不好