remap_registered_memory

产品支持情况

函数功能

大模型推理过程中，如果发生内存UCE故障，即返回错误码ACL_ERROR_RT_DEVICE_MEM_ERROR，上层框架需要先判断发生该故障的内存是否为KV Cache内存，如果不是，请参考《Ascend Extension for PyTorch 自定义API参考》中的torch_npu.npu.restart_device接口的说明获取并修复内存UCE的错误虚拟地址。如果是KV Cache内存，还需要再调用该接口修复注册给网卡的KV Cache内存。

本接口为预留接口，暂不支持。

函数原型

1

remap_registered_memory(mem_infos: Union[MemInfo, list[MemInfo]]) -> None

参数说明

调用示例

1
2
3
4

from llm_datadist import *
...
mem_info = MemInfo(Memtype.MEM_TYPE_DEVICE, 1234, 1)
cache_manager.remap_registered_memory(mem_info)

返回值

正常情况下无返回值。

传入数据类型错误情况下会抛出TypeError或ValueError异常。

约束说明

当前仅支持device类型的内存修复。