TritonServer适配问题
收藏回复举报
TritonServer适配问题
t('forum.solved') 已解决
发表于2024-10-18 18:32:41
0 查看

我们在非国产化的项目里一直是用TritonServer(onnxruntime)做推理,我想问下昇腾有类似的推理框架吗?或者有没有适配昇腾npu的TritonServer版本?

我们以前尝试过把onnx模型转成om模型然后用acl库推理,但是社区里只有用代码调用的示例,如果转成om格式,华为这边有类似的推理框架吗?我们这块系统要处理的图片数据量比较大,要保证呑吐量,我们自己写代码调的话,并发性、显存这些环节可能处理不好

我要发帖子