规格约束
输入x / weight矩阵维度,通过transWeight配置需满足矩阵乘的维度关系。
rank、rankSize、rankRoot需满足以下条件。
0 ≤ rank < rankSize
0 ≤ rankRoot < rankSize
多用户使用时需要使用ATB_SHARE_MEMORY_NAME_SUFFIX环境变量(请参见
Transformer加速库环境变量说明
)进行共享内存的区分,以进行初始化信息同步。
当使用加速库的通信算子异常退出时,需要清空残留数据,避免影响之后的使用,命令参考如下:
rm -rf /dev/shm/sem.lccl* rm -rf /dev/shm/sem.hccl* ipcrm -a
调用AllGatherMatmulReduceScatter算子时(即LinearParallelParam的type设置为ALL_GATHER_LINEAR_REDUCE_SCATTER时),backend需要设置为"lcoc",keepIntermediate需为false,twoDimTPInfo中的agDim、rsDim、innerDimIsAg可供设置,且需满足agDim * rsDim == rankSize,不支持量化相关参数。输入维度m、k、n的取值范围分别为[1, 200000]、[1, 32768]、[1, 32768]。
agDim和rsDim需为2的幂,且最小为2,rankSize最小为4,最大为16。
父主题:
LinearParallelOperation