- [object Object]Ascend 950PR/Ascend 950DT[object Object]:支持
- [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:不支持
- [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:不支持
- [object Object]Atlas 200I/500 A2 推理产品[object Object]:不支持
- [object Object]Atlas 推理系列产品[object Object]:不支持
- [object Object]Atlas 训练系列产品[object Object]:不支持
- 接口功能:
[object Object]融合GroupedMatmul、激活函数和量化计算, 当前用于WeightNz路径下的[object Object]激活和MXFP8量化场景,底层调用[object Object]接口完成计算。 - 计算流程:
- 按
[object Object]将[object Object]在M轴方向划分为多个group。 - 每个group分别与对应的
[object Object]做矩阵乘计算,并结合[object Object]和[object Object]完成MXFP8反量化。 - 对矩阵乘结果执行
[object Object]激活。 - 对激活结果执行MX动态量化,输出
[object Object]和[object Object]。
- 按
[object Object]
- 适用场景:该接口支持训练、推理场景下使用。
- 调用方式:该接口支持单算子模式调用。
[object Object]必须为64的整数倍,[object Object]取值范围为[object Object]。- 支持M为0或N为0的空Tensor场景;该场景下允许K为0。
默认支持确定性计算。
单算子模式调用:
[object Object]