昇腾社区首页
中文
注册

ReleasePromptPrefix

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

函数功能

释放公共前缀。

函数原型

1
ge::Status ReleasePromptPrefix(const LLMReq &req, uint64_t model_id = 0UL)

参数说明

参数名

输入/输出

描述

req

输入

当前执行的请求。类型为LLMReq。需要释放的公共前缀PrefixId。

LLMReq中SetPrefixId的有效值范围为[0, UINT64_MAX), 多次Set时只有最后一次生效。

model_id

输入

模型ID,默认为0。

返回值

  • 0:执行成功。
  • 其他:失败。

异常处理

约束说明

必须先做初始化后才能调用。

只能在LLM_OPTION_ROLE为Prompt的时候调用,否则会报错。