MindIE-Service提供的不同风格的endpoint接口是内部兼容了不同的加速框架吗?
收藏回复举报
MindIE-Service提供的不同风格的endpoint接口是内部兼容了不同的加速框架吗?
t('forum.solved') 已解决
发表于2024-06-25 09:52:09
0 查看

如题。

在官网中给了一些不同风格的接口给用户调用:openai、vllm、triton、tgi,通过配置不同格式的参数调用不同风格的接口。

但在MindIE镜像里,并没有找到这些加速框架对应的python依赖,看mindie的配置里只配置了是否atb加速。

那么这些加速框架是在mindie里兼容了,用的就是适配版的vllm框架;还是说将不同风格的加速参数转化成atb加速使用的还是atb本身呢?

我要发帖子