InferReqType枚举类,表示请求的类型。
enum class InferReqType { REQ_STAND_INFER = 0, REQ_PREFILL = 1, REQ_DECODE = 2 };
枚举名
说明
REQ_STAND_INFER
正常
REQ_PREFILL
REQ_DECODE