PreloadPromptPrefix 函数功能预加载公共前缀。 函数原型ge::Status PreloadPromptPrefix(const LLMReq &req, const std::vector<ge::Tensor> &inputs, uint64_t model_id = 0UL) 参数说明 参数名 输入/输出 描述 req 输入 当前执行的请求。设置公共前缀的PrefixId。 类型为LLMReq。 LLMReq中SetPrefixId的有效值范围为[0, UINT64_MAX), 多次Set时只有最后一次生效。 inputs 输入 计算图输入Tensor，为Host上分配的内存空间。 model_id 输入 模型ID，默认为0。 返回值0：执行成功。其他：失败。 异常处理无。 约束说明必须先做初始化后才能调用。 只能在LLM_OPTION_ROLE为Prompt的时候调用，否则会报错。 父主题： LLMEngine
