接口变更说明
本章节的接口变更说明包括新增、修改、废弃和删除。接口变更只体现代码层面的修改,不包含文档本身在语言、格式、链接等方面的优化改进。
- 新增:表示此次版本新增的接口。
- 修改:表示本接口相比于上个版本有修改。
- 废弃:表示该接口自作出废弃声明的版本起停止演进,且在声明一年后可能被移除。
- 删除:表示该接口在此次版本被移除。
MindIE Motor接口变更
类名/API原型 |
变更类别 |
变更说明 |
|---|---|---|
load_lora_adapter |
新增 |
新增lora的动态加载接口。 |
unload_lora_adapter |
新增 |
新增LoRA的动态卸载接口。 |
兼容TGI 0.9.4版本接口 |
删除 |
删除兼容TGI 0.9.4版本接口。 |
兼容vLLM 0.6.4版本接口 |
删除 |
删除兼容vLLM 0.6.4版本接口 |
兼容Triton接口 |
删除 |
删除兼容Triton接口。 |
/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/getSlotCount |
删除 |
删除Slot统计接口。 |
/v2/models/${MODEL_NAME}[/versions/${MODEL_VERSION}]/stopInfer |
删除 |
删除提前终止请求接口。 |
/v1/tokenizer |
删除 |
删除计算token数量接口。 |
MindIE LLM接口变更
类名/API原型 |
变更类别 |
变更说明 |
|---|---|---|
load_lora_adapter |
新增 |
新增lora的动态加载接口。 |
unload_lora_adapter |
新增 |
新增LoRA的动态卸载接口。 |
HandleLora |
新增 |
新增动态加载、卸载和查询LoRA接口。 |
LoraOperation枚举类 |
新增 |
新增LoraOperation枚举类,表示LoRA请求的类型。 |
LoraParam结构体 |
新增 |
新增用于承载加载、卸载和查询LoRA信息的结构体。 |
IsFlexLocalReq |
新增 |
新增请求是否是flex节点本地处理的请求类型接口。 |
UpdateFlexSwitchInfo |
新增 |
新增下发Flex节点信息更新请求接口。 |
InferReqType枚举类 |
新增 |
新增InferReqType枚举类,表示请求的类型。 |
兼容TGI 0.9.4版本接口 |
新增 |
新增兼容TGI 0.9.4版本接口。 |
兼容vLLM 0.6.4版本接口 |
新增 |
新增兼容vLLM 0.6.4版本接口。 |
兼容OpenAI接口 |
新增 |
新增兼容OpenAI接口。 |
vLLM兼容OpenAI接口 |
新增 |
新增vLLM兼容OpenAI接口。 |
兼容Triton接口 |
新增 |
新增兼容Triton接口。 |
MindIE原生接口 |
新增 |
新增MindIE原生接口。 |
EndPoint内部接口 |
新增 |
新增EndPoint内部接口。 |
MindIE SD接口变更
类名/API原型 |
变更类别 |
变更说明 |
|---|---|---|
def attention_forward_varlen |
新增 |
新增不等长场景的注意力计算模块接口。 |