unregister_cache

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

解除注册一个自行申请的内存。

函数原型

unregister_cache(cache_id: int) -> None

参数说明

参数名称	数据类型	取值说明
cache_id	int	调用register_cache或register_blocks_cache返回的cache的id。

调用示例

from llm_datadist import *
...
cache_mgr = llm_datadist.cache_manager
data_addrs = []
for i in range(80):
    tensor = torch.ones(4, 1024 * 1024, dtype=torch.float32).npu()
    tensor_addr = tensor.data_ptr()
    data_addrs.append(tensor_addr)
cache_desc = CacheDesc(80, [4, 1024 * 1024], DataType.DT_FLOAT, Placement.DEVICE)
cache = cache_mgr.register_cache(cache_desc, data_addrs)
# do something
cache_mgr.unregister_cache(cache.cache_id)
print('unregister cache suc:', cache.cache_id, flush=True)

返回值

正常情况下无返回值。

传入数据类型错误情况下会抛出TypeError或ValueError异常。

约束说明

当前仅支持配置local_comm_res场景使用。
调用该接口之前，需要先调用unlink进行断链，否则会导致HCCL报错。

父主题： CacheManager