枚举功能

响应中EndFlag枚举。

枚举格式

typedef enum InferResponseEndFlagEnum {
    INFER_RESPONSE_CONTINUE = 0,
    INFER_RESPONSE_EOS = 1,
    INFER_RESPONSE_CANCEL = 2,
    INFER_RESPONSE_EXEC_ERROR = 3,
    INFER_RESPONSE_ILLEGAL_INPUT = 4,
    INFER_RESPONSE_REACH_MAX_SEQ_LEN = 5,
    INFER_RESPONSE_REACH_MAX_OUTPUT_LEN = 6,
} InferResponseEndFlag;

枚举参数

参数	参数类型	说明	取值要求
INFER_RESPONSE_CONTINUE	枚举值	请求继续迭代执行。	0
INFER_RESPONSE_EOS	枚举值	请求正常结束。	1
INFER_RESPONSE_CANCEL	枚举值	请求被主动CANCEL或STOP，用户不感知，丢弃响应。	2
INFER_RESPONSE_EXEC_ERROR	枚举值	请求执行中出错，响应输出为空，err_msg非空。	3
INFER_RESPONSE_ILLEGAL_INPUT	枚举值	请求输入校验异常，响应输出为空，err_msg非空。	4
INFER_RESPONSE_REACH_MAX_SEQ_LEN	枚举值	请求因达到最大序列长度而结束，响应为最后一轮迭代输出。	5
INFER_RESPONSE_REACH_MAX_OUTPUT_LEN	枚举值	请求因达到最大输出长度（包括请求和模型粒度）而结束，响应为最后一轮迭代输出。	6

InferResponseEndFlagEnum枚举

枚举功能

枚举格式

枚举参数