MaxOutputLen接口
接口功能
获取推理请求返回token的最大值。
接口格式
uint32_t MaxOutputLen() const;
接口参数
无。
使用样例
uint32_t maxOutLen = request->MaxOutputLen();
返回值
推理请求返回token的最大值,uint32_t类型。
父主题: InferenceRequest
获取推理请求返回token的最大值。
uint32_t MaxOutputLen() const;
无。
uint32_t maxOutLen = request->MaxOutputLen();
推理请求返回token的最大值,uint32_t类型。