def reduce_scatter(tensor, reduction, rank_size, group = "hccl_world_group")
提供group内的集合通信reducescatter功能,reduce操作由reduction参数指定。
参数名 |
输入/输出 |
描述 |
---|---|---|
tensor |
输入 |
tensorflow的tensor类型。 针对Atlas 训练系列产品,tensor支持的数据类型为int8, int32, float16, float32。 tensor的第一个维度的元素个数必需是rank size的整数倍。 |
reduction |
输入 |
String类型。 reduce的op类型,可以为”max”,”min”,”prod”和”sum”。 |
rank_size |
输入 |
int类型。 group内device的数量。 最大值:4096。 |
group |
输入 |
String类型,最大长度为128字节,含结束符。 group名称,可以为用户自定义group或者"hccl_world_group"。 |
tensor:对输入tensor执行完reducescatter操作之后的结果tensor。建议返回tensor的数据量为32Byte对齐,否则会导致性能下降。
from npu_bridge.npu_init import * rank_size = 2 result = hccl_ops. reduce_scatter (tensor, "sum", rank_size)