GetRequestBlockQuotas接口

接口功能

获取remainBlocks、remainPrefillSlots和remainPrefillTokens的值。

接口格式

Status GetRequestBlockQuotas(uint64_t *remainBlocks, uint64_t *remainPrefillSlots, uint64_t *remainPrefillTokens);

接口参数

参数	是否必选	说明	取值要求
remainBlocks	必选	存储获取到的remainBlocks的值。	初始化该变量即可。
remainPrefillSlots	必选	存储获取到的remainPrefillSlots的值。	初始化该变量即可。
remainPrefill	必选	存储获取到的remainPrefill的值。	初始化该变量即可。

使用样例

uint64_t remainBlocks;
uint64_t remainPrefillSlots;
uint64_t remainPrefillTokens;
engine.GetRequestBlockQuotas(&remainBlocks, &remainPrefillSlots, &remainPrefillTokens);

返回值

返回获取remainBlocks、remainPrefillSlots和remainPrefill的结果。

Status(Error::Code::OK)：操作成功。
Status(Error::Code::ERROR)：操作失败。
Status(Error::Code::INVALID_ARG)：非法参数。
Status(Error::Code::NOT_FOUND)：无法找到指定操作。

父主题： InferenceEngine