Operation枚举类

枚举类功能

Operation枚举类,表示请求停止的类型。

枚举类格式

enum class Operation {
    STOP = 1,
    RELEASE_KV = 2,
};

枚举值

枚举名

说明

STOP

请求被stopInfer停止推理的类型。

RELEASE_KV

请求在P节点释放完KV Cache的类型。