华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
如题。
在官网中给了一些不同风格的接口给用户调用:openai、vllm、triton、tgi,通过配置不同格式的参数调用不同风格的接口。
但在MindIE镜像里,并没有找到这些加速框架对应的python依赖,看mindie的配置里只配置了是否atb加速。
那么这些加速框架是在mindie里兼容了,用的就是适配版的vllm框架;还是说将不同风格的加速参数转化成atb加速使用的还是atb本身呢?
我要发帖子
如题。
在官网中给了一些不同风格的接口给用户调用:openai、vllm、triton、tgi,通过配置不同格式的参数调用不同风格的接口。
但在MindIE镜像里,并没有找到这些加速框架对应的python依赖,看mindie的配置里只配置了是否atb加速。
那么这些加速框架是在mindie里兼容了,用的就是适配版的vllm框架;还是说将不同风格的加速参数转化成atb加速使用的还是atb本身呢?