昇腾社区首页
中文
注册

Topology(TorchRec

此接口为TorchRec开源接口,非Rec SDK Torch对外接口。此章节介绍使用Rec SDK Torch时调用的TorchRec接口支持的参数范围。

功能描述

保存分布式环境的参数。

函数原型

1
2
class Topology:
    def __init__(**kwargs):

参数说明

参数名

类型

可选/必选

说明

world_size

int

必选

使用的卡数。取值范围:[1,8]

compute_device

str

必选

设备名称。

取值范围:

"npu":npu设备。

hbm_cap

int

可选

仅支持默认值为None,不支持用户自定义。

ddr_cap

int

可选

仅支持默认值为None,不支持用户自定义。

local_world_size

int

可选

仅支持默认值为None,不支持用户自定义。

hbm_mem_bw

float

可选

仅支持默认值为(897 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。

ddr_mem_bw

float

可选

仅支持默认值为(51 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。

hbm_to_ddr_mem_bw

float

可选

仅支持默认值为(32 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。

intra_host_bw

float

可选

仅支持默认值为(600 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。

inter_host_bw

float

可选

仅支持默认值为(12.5 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。

bwd_compute_multiplier

float

可选

仅支持默认值为2,不支持用户自定义。

custom_topology_data

torchrec.distribute.planner.types.CustomTopologyData

可选

仅支持默认值为None,不支持用户自定义。

weighted_feature_bwd_compute_multiplier

float

可选

仅支持默认值为1,不支持用户自定义。

uneven_sharding_perf_multiplier

float

可选

仅支持默认值为1,不支持用户自定义。

使用示例

1
2
from torchrec.distributed.planner import Topology,
topo = Topology(world_size=world_size, compute_device="npu")

参考资源

接口调用流程及示例可参见迁移与训练