remap_registered_memory

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

大模型推理过程中，如果发生内存UCE故障，即返回错误码ACL_ERROR_RT_DEVICE_MEM_ERROR，上层框架需要先判断发生该故障的内存是否为KV Cache内存，如果不是，请参考《Ascend Extension for PyTorch 自定义API参考》中的torch_npu.npu.restart_device接口的说明获取并修复内存UCE的错误虚拟地址。如果是KV Cache内存，还需要再调用该接口修复注册给网卡的KV Cache内存。

本接口为预留接口，暂不支持。

函数原型

remap_registered_memory(mem_infos: Union[MemInfo, list[MemInfo]]) -> None

参数说明

参数名称	数据类型	取值说明
mem_infos	Union[MemInfo, list[MemInfo]]	内存信息，或者内存信息的列表。

调用示例

from llm_datadist import *
role = LLMRole.PROMPT  # 发生故障的角色
cluster_id = 1  # 发生故障的LLMDataDist id
datadist = LLMDataDist(role, cluster_id)
cache_manager = datadist.cache_manager
addr = 12345678 # 发生故障的地址
size = 1024  # 发生故障的地址大小
mem_info = MemInfo(Memtype.MEM_TYPE_DEVICE, addr, size)
cache_manager.remap_registered_memory(mem_info)

返回值

正常情况下无返回值。

传入数据类型错误情况下会抛出TypeError或ValueError异常。

约束说明

当前仅支持Device类型的内存修复。

父主题： CacheManager