LinearParallelOperation

功能

多卡并行Linear计算处理。

该算子涉及多卡相关操作，可根据实际需求配置HCCL相关环境变量，具体请参见《环境变量参考》中“执行相关 > 集合通信与分布式训练 > 集合通信相关配置”章节。配置TLS等相关操作可查看对应设备的。

约束

• 输入x / weight矩阵维度，通过transWeight配置要满足矩阵乘的维度关系。
• rank、rankSize、rankRoot需满足以下条件。
  • 0 ≤ rank < rankSize
  • 0 ≤ rankRoot < rankSize

当使用加速库的通信算子异常退出时，需要清空残留数据，避免影响之后的使用，命令参考如下：

rm -rf /dev/shm/sem.lccl*
rm -rf /dev/shm/sem.hccl*
ipcrm -a

定义

struct LinearParallelParam {
    enum ParallelType : int {
        UNDEFINED = -1,
        LINEAR_ALL_REDUCE = 0,
        LINEAR_REDUCE_SCATTER = 1,
        ALL_GATHER_LINEAR = 2,
        PURE_LINEAR = 3,
        MAX = 4,
    };
    enum QuantType : int {
        QUANT_TYPE_UNDEFINED = -1,
        QUANT_TYPE_PER_TENSOR = 0,
        QUANT_TYPE_PER_CHANNEL = 1,
        QUANT_TYPE_PER_GROUP = 2,
        QUANT_TYPE_MAX = 3,
    };
    bool transWeight = true;                    // 权重是否需要转置
    int rank = 0;                               // 每个进程的编号
    int rankSize = 0;                           // 总的进程数
    int rankRoot = 0;                           // 主进程编号
    bool hasResidual = false;                                               
    std::string backend = "hccl";               // 通信后端指示
    HcclComm hcclComm = nullptr;                // only effect when hcclComm is not null
    CommMode commMode = COMM_MULTI_PROCESS;
    std::string rankTableFile;
    ParallelType type = LINEAR_ALL_REDUCE;      // 当前仅在backend为lcoc时支持使用
    bool keepIntermediate = false;              // 是否返回中间结果
    QuantType quantType = QUANT_TYPE_UNDEFINED; // 量化类型，当前仅当type为LINEAR_ALL_REDUCE时支持
    int32_t quantGroupSize = 0;                 // 量化类型为QUANT_TYPE_PER_GROUP时生效
};

成员

输入

输出