per_device_tensor_addrs
函数功能
获取KvCache的地址。
函数原型
@property per_device_tensor_addrs() -> List[List[int]]
参数说明
无
调用示例
1 2 3 4 | ...
kv_cache = kv_cache_manager.allocate_cache(cache_desc, cache_keys)
# 两层List结构为单进程多卡设计，单进程单卡时直接获取第一个卡的地址
print(kv_cache.per_device_tensor_addrs[0])
|
返回值
正常情况返回类型为KVCache的地址。
约束说明
无
父主题： KvCache