def set_split_strategy_by_idx(idxList, group="hccl_world_group")
基于梯度的索引id,在集合通信group内设置反向梯度切分策略,实现allreduce的融合,用于进行集合通信的性能调优。
参数名 |
输入/输出 |
描述 |
---|---|---|
idxList |
输入 |
list类型。 梯度的索引id列表。
|
group |
输入 |
String类型。 group名称,可以为"hccl_world_group"或自定义group,默认为"hccl_world_group"。 |
无。
Atlas 训练系列产品
Atlas 300I Duo 推理卡
Atlas A2 训练系列产品
1 2 | from npu_bridge.npu_init import * set_split_strategy_by_idx([20, 100, 159], "group") |