Topology(TorchRec)

此接口为TorchRec开源接口,非Rec SDK Torch对外接口。此章节介绍使用Rec SDK Torch时调用的TorchRec接口支持的参数范围。
功能描述
保存分布式环境的参数。
函数原型
1 2 | class Topology: def __init__(**kwargs): |
参数说明
参数名 |
类型 |
可选/必选 |
说明 |
---|---|---|---|
world_size |
int |
必选 |
使用的卡数。取值范围:[1,8] |
compute_device |
str |
必选 |
设备名称。 取值范围: "npu":npu设备。 |
hbm_cap |
int |
可选 |
仅支持默认值为None,不支持用户自定义。 |
ddr_cap |
int |
可选 |
仅支持默认值为None,不支持用户自定义。 |
local_world_size |
int |
可选 |
仅支持默认值为None,不支持用户自定义。 |
hbm_mem_bw |
float |
可选 |
仅支持默认值为(897 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。 |
ddr_mem_bw |
float |
可选 |
仅支持默认值为(51 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。 |
hbm_to_ddr_mem_bw |
float |
可选 |
仅支持默认值为(32 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。 |
intra_host_bw |
float |
可选 |
仅支持默认值为(600 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。 |
inter_host_bw |
float |
可选 |
仅支持默认值为(12.5 * 1024 * 1024 * 1024 / 1000),不支持用户自定义。 |
bwd_compute_multiplier |
float |
可选 |
仅支持默认值为2,不支持用户自定义。 |
custom_topology_data |
torchrec.distribute.planner.types.CustomTopologyData |
可选 |
仅支持默认值为None,不支持用户自定义。 |
weighted_feature_bwd_compute_multiplier |
float |
可选 |
仅支持默认值为1,不支持用户自定义。 |
uneven_sharding_perf_multiplier |
float |
可选 |
仅支持默认值为1,不支持用户自定义。 |
使用示例
1 2 | from torchrec.distributed.planner import Topology, topo = Topology(world_size=world_size, compute_device="npu") |
参考资源
接口调用流程及示例可参见迁移与训练。