昇腾社区首页
中文
注册
开发者
下载

接口变更说明

本章节的接口变更说明包括新增、修改、废弃和删除。接口变更只体现代码层面的修改,不包含文档本身在语言、格式、链接等方面的优化改进。

  • 新增:表示此次版本新增的接口。
  • 修改:表示本接口相比于上个版本有修改。
  • 废弃:表示该接口自作出废弃声明的版本起停止演进,且在声明一年后可能被移除。
  • 删除:表示该接口在此次版本被移除。

MindIE Motor接口变更

表1 MindIE Motor接口变更汇总

类名/API原型

变更类别

变更说明

load_lora_adapter

新增

新增lora的动态加载接口。

unload_lora_adapter

新增

新增LoRA的动态卸载接口。

兼容TGI 0.9.4版本接口

删除

删除兼容TGI 0.9.4版本接口。

兼容vLLM 0.6.4版本接口

删除

删除兼容vLLM 0.6.4版本接口

兼容Triton接口

删除

删除兼容Triton接口。

/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/getSlotCount

删除

删除Slot统计接口。

/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/stopInfer

删除

删除提前终止请求接口。

/v1/tokenizer

删除

删除计算token数量接口。

MindIE LLM接口变更

表2 MindIE LLM接口变更汇总

类名/API原型

变更类别

变更说明

load_lora_adapter

新增

新增lora的动态加载接口。

unload_lora_adapter

新增

新增LoRA的动态卸载接口。

HandleLora

新增

新增动态加载、卸载和查询LoRA接口。

LoraOperation枚举类

新增

新增LoraOperation枚举类,表示LoRA请求的类型。

LoraParam结构体

新增

新增用于承载加载、卸载和查询LoRA信息的结构体。

IsFlexLocalReq

新增

新增请求是否是flex节点本地处理的请求类型接口。

UpdateFlexSwitchInfo

新增

新增下发Flex节点信息更新请求接口。

InferReqType枚举类

新增

新增InferReqType枚举类,表示请求的类型。

兼容TGI 0.9.4版本接口

新增

新增兼容TGI 0.9.4版本接口。

兼容vLLM 0.6.4版本接口

新增

新增兼容vLLM 0.6.4版本接口。

兼容OpenAI接口

新增

新增兼容OpenAI接口。

vLLM兼容OpenAI接口

新增

新增vLLM兼容OpenAI接口。

兼容Triton接口

新增

新增兼容Triton接口。

MindIE原生接口

新增

新增MindIE原生接口。

EndPoint内部接口

新增

新增EndPoint内部接口。

MindIE SD接口变更

表3 MindIE SD接口变更汇总

类名/API原型

变更类别

变更说明

def attention_forward_varlen

新增

新增不等长场景的注意力计算模块接口。