BroadcastOperation
功能
把主进程(root节点)的Tensor数据广播到其他的进程。
该算子涉及多卡相关操作,可根据实际需求配置HCCL相关环境变量,具体请参见《环境变量参考》中 章节。配置TLS等相关操作可查看对应设备的《HCCN Tool 接口参考》。
约束
rank、rankSize、rankRoot需满足以下条件。
- 0 ≤ rank < rankSize
- 0 ≤ rankRoot < rankSize
Atlas 推理系列产品(配置Ascend 310P AI处理器)不支持该算子。
定义
struct BroadcastParam { int rank = 0; int rankSize = 0; int rankRoot = 0; HcclComm hcclComm = nullptr; };
成员
成员名称 |
描述 |
---|---|
rank |
当前进程的编号。 |
rankSize |
总的进程数,不能为0。 |
rankRoot |
主进程编号。 |
hcclComm |
HCCL通信域接口获取的地址指针,当值为空指针(nullptr)时不生效。 |
输入
参数 |
维度 |
数据类型 |
格式 |
---|---|---|---|
x |
[-1,…,-1] -1表示当前维度的大小没有约束。 |
float16/float/int8/int32/int64 |
ND |
输出
参数 |
维度 |
数据类型 |
格式 |
---|---|---|---|
x |
[-1,…,-1] -1表示当前维度的大小没有约束。 |
float16/float/int8/int32/int64 |
ND |