get_request_block_quotas(self)

接口功能

获取remainBlocks、remainPrefillSlots和remainPrefill的值。

接口格式

def get_request_block_quotas(self) -> Tuple[int, int, int]

接口参数

使用样例

from sdk.engine import Engine
engine = Engine()
remain_blocks, remain_prefill_slots, remain_prefill_tokens = engine.get_request_block_quotas()

返回值

remainBlocks、remainPrefillSlots和remainPrefill的值。