BlocksCacheKey
函数功能
构造BlocksCacheKey，通常在KvCacheManager的allocate_blocks_cache、pull_blocks或者CacheManager的allocate_blocks_cache、pull_blocks接口中作为参数类型使用。
函数原型
__init__(*args, **kwargs)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cluster_id或prompt_cluster_id |
int |
cache所在远端集群id，必填。
|
model_id |
int |
cache关联的model_id，默认为0。 |
调用示例
1 2 | from llm_datadist import BlocksCacheKey blocks_cache_key = BlocksCacheKey(0, 0) |
返回值
返回BlocksCacheKey的实例。
传入数据类型错误情况下会抛出TypeError或ValueError异常。
约束说明
无