[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：融合GroupedMatmul 、dequant、swiglu和quant，详细解释见计算公式。

  相较于接口，此接口新增：

  • Atlas 350 加速卡：
    • 新增了MXFP8、MXFP4、Pertoken量化场景。
    • 参数weight, weightScale, weightAssistMatrix的字段类型变为tensorlist，请根据实际情况选择合适的接口。

• 计算公式：

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

    [object Object]

    • 定义：

      • ⋅ 表示矩阵乘法。
      • ⊙ 表示逐元素乘法。
      • $\left \lfloor x\right \rceil$ 表示将x四舍五入到最近的整数。
      • $\mathbb{Z_8} = \{ x \in \mathbb{Z} | −128≤x≤127 \}$
      • $\mathbb{Z_{32}} = \{ x \in \mathbb{Z} | -2147483648≤x≤2147483647 \}$

    • 输入：

      • $X∈\mathbb{Z_8}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
      • $W∈\mathbb{Z_8}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
      • $w\_scale∈\mathbb{R}^{E \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，N是输出维度。
      • $x\_scale∈\mathbb{R}^{M}$：激活矩阵（左矩阵）的逐 token缩放因子，M是总token数。
      • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。

    • 输出：

      • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
      • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。

    • 计算过程

      • 1.根据groupList[i]确定当前分组的 token ，$i \in [0,Len(groupList)]$。

        [object Object]

      • 2.根据分组确定的入参进行如下计算：

        $C_{i} = (X_{i}\cdot W_{i} )\odot x\_scale_{i\ Broadcast} \odot w\_scale_{i\ Broadcast}$

        $C_{i,act}, gate_{i} = split(C_{i})$

        $S_{i}=Swish(C_{i,act})\odot gate_{i}$   其中$Swish(x)=\frac{x}{1+e^{-x}}$

      • 3.量化输出结果

        $Q\_scale_{i} = \frac{max(|S_{i}|)}{127}$

        $Q_{i} = \left\lfloor \frac{S_{i}}{Q\_scale_{i}} \right\rceil$

    [object Object][object Object]
    • 定义：
      • ⋅ 表示矩阵乘法。
      • ⊙ 表示逐元素乘法。
      • $\left \lfloor x\right \rceil$ 表示将x四舍五入到最近的整数。
      • $\mathbb{Z_8} = \{ x \in \mathbb{Z} | −128≤x≤127 \}$
      • $\mathbb{Z_4} = \{ x \in \mathbb{Z} | −8≤x≤7 \}$
      • $\mathbb{Z_{32}} = \{ x \in \mathbb{Z} | -2147483648≤x≤2147483647 \}$
    • 输入：
      • $X∈\mathbb{Z_8}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
      • $W∈\mathbb{Z_4}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
      • $weightAssistMatrix∈\mathbb{R}^{E \times N}$：计算矩阵乘时的辅助矩阵（生成辅助矩阵的计算过程见下文）。
      • $w\_scale∈\mathbb{R}^{E \times K\_group\_num \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，K_group_num是在K轴维度上的分组数，N是输出维度。
      • $x\_scale∈\mathbb{R}^{M}$：激活矩阵（左矩阵）的逐token缩放因子，M是总token数。
      • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。
    • 输出：
      • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
      • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。
    • 计算过程

      • 1.根据groupList[i]确定当前分组的token，$i \in [0,Len(groupList)]$。

        • 分组逻辑与A8W8相同。

      • 2.生成辅助矩阵（weightAssistMatrix）的计算过程（请注意weightAssistMatrix部分计算为离线生成作为输入，并非算子内部完成）：

        • 当为per-channel量化（$w\_scale$为2维）：

          $weightAssistMatrix_{i} = 8 × weightScale × Σ_{k=0}^{K-1} weight[:,k,:]$

        • 当为per-group量化（$w\_scale$为3维）：

          $weightAssistMatrix_{i} = 8 × Σ_{k=0}^{K-1} (weight[:,k,:] × weightScale[:, ⌊k/num\_per\_group⌋, :])$

          注：$num\_per\_group = K // K\_group\_num$

      • 3.根据分组确定的入参进行如下计算：

        • 3.1.将左矩阵$\mathbb{Z_8}$，转变为高低位 两部分的$\mathbb{Z_4}$ $X\_high\_4bits_{i} = \lfloor \frac{X_{i}}{16} \rfloor$ $X\_low\_4bits_{i} = X_{i} \& 0x0f - 8$

        • 3.2.做矩阵乘时，使能per-channel或per-group量化 per-channel：

          $C\_high_{i} = (X\_high\_4bits_{i} \cdot W_{i}) \odot w\_scale_{i}$

          $C\_low_{i} = (X\_low\_4bits_{i} \cdot W_{i}) \odot w\_scale_{i}$

          per-group：

          $C\_high_{i} = \\ Σ_{k=0}^{K-1}((X\_high\_4bits_{i}[:, k * num\_per\_group : (k+1) * num\_per\_group] \cdot W_{i}[k * num\_per\_group : (k+1) * num\_per\_group, :]) \odot w\_scale_{i}[k, :] )$

          $C\_low_{i} = \\ Σ_{k=0}^{K-1}((X\_low\_4bits_{i}[:, k * num\_per\_group : (k+1) * num\_per\_group] \cdot W_{i}[k * num\_per\_group : (k+1) * num\_per\_group, :]) \odot w\_scale_{i}[k, :] )$

        • 3.3.将高低位的矩阵乘结果还原为整体的结果

          $C_{i} = (C\_high_{i} * 16 + C\_low_{i} + weightAssistMatrix_{i}) \odot x\_scale_{i}$

          $C_{i,act}, gate_{i} = split(C_{i})$

          $S_{i}=Swish(C_{i,act})\odot gate_{i}$    其中$Swish(x)=\frac{x}{1+e^{-x}}$

      • 3.量化输出结果

        $Q\_scale_{i} = \frac{max(|S_{i}|)}{127}$

        $Q_{i} = \left\lfloor \frac{S_{i}}{Q\_scale_{i}} \right\rceil$

    [object Object][object Object]

    • 定义：

      • ⋅ 表示矩阵乘法。
      • ⊙ 表示逐元素乘法。
      • $\left \lfloor x\right \rceil$ 表示将x四舍五入到最近的整数。
      • $\mathbb{Z_4} = \{ x \in \mathbb{Z} | −8≤x≤7 \}$
      • $\mathbb{Z_8} = \{ x \in \mathbb{Z} | −128≤x≤127 \}$
      • $\mathbb{Z_{32}} = \{ x \in \mathbb{Z} | -2147483648≤x≤2147483647 \}$

    • 输入：

      • $X∈\mathbb{Z_4}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
      • $W∈\mathbb{Z_4}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
      • $w\_scale∈\mathbb{R}^{E \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，N是输出维度。
      • $x\_scale∈\mathbb{R}^{M}$：激活矩阵（左矩阵）的逐 token缩放因子，M是总token数。
      • $smoothScale∈\mathbb{R}^{E \times N/2}(逐channel)或\mathbb{R}^{E}(逐tensor)$：平滑缩放因子，E是专家个数，N是输出维度。
      • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。

    • 输出：

      • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
      • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。

    • 计算过程

      • 1.根据groupList[i]确定当前分组的 token ，$i \in [0,Len(groupList)]$。

        • 分组逻辑与A8W8相同。

      • 2.根据分组确定的入参进行如下计算：

        $C_{i} = (X_{i}\cdot W_{i} )\odot x\_scale_{i\ Broadcast} \odot w\_scale_{i\ Broadcast}$

        $C_{i,act}, gate_{i} = split(C_{i})$

        $S_{i}=Swish(C_{i,act})\odot gate_{i}$   其中$Swish(x)=\frac{x}{1+e^{-x}}$

        $S_{i} = S_{i} \odot smoothScale_{i\ Broadcast}$

      • 3.量化输出结果

        $Q\_scale_{i} = \frac{max(|S_{i}|)}{127}$

        $Q_{i} = \left\lfloor \frac{S_{i}}{Q\_scale_{i}} \right\rceil$

    [object Object]

  • Atlas 350 加速卡：

    [object Object]

    • 定义：

      • ⋅ 表示矩阵乘法。
      • ⊙ 表示逐元素乘法。

    • 输入：

      • $X∈\mathbb{Z_8}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
      • $W∈\mathbb{Z_8}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
      • $w\_scale∈\mathbb{R}^{E \times ceil(K / 64) \times N \times 2}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，K是特征维度, N是输出维度。
      • $x\_scale∈\mathbb{R}^{M \times ceil(K / 64) \times 2}$：激活矩阵（左矩阵）的逐 token缩放因子，M是总token数，K是特征维度。
      • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。

    • 输出：

      • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
      • $Q\_scale∈\mathbb{R}^{M \times ceil((N / 2) / 64) \times 2}$：量化缩放因子。

    • 计算过程

      • 1.根据groupList[i]确定当前分组的 token ，$i \in [0,Len(groupList)]$

      • 2.根据分组确定的入参进行如下计算：

        $C_{i} = (X_{i}\cdot W_{i} )\odot xScale_{i\ Broadcast} \odot wScale_{i\ Broadcast}$

        $C_{i,act}, gate_{i} = split(C_{i})$

        $S_{i}=Swish(C_{i,act})\odot gate_{i}$，其中$Swish(x)=\frac{x}{1+e^{-x}}$

      • 3.量化输出结果

        $shared\_exp = \left\lfloor \log_2(max_i(|S_i|)) \right\rceil - emax$

        $QScale = 2 ^ {shared\_exp}$

        $Q_i = quantize\_to\_element\_format(S_i/Qscale), \space i\space from\space 1\space to\space blocksize$

        • $emax$: 对应数据类型的最大正则数的指数位。

          [object Object]undefined

        • $blocksize$：指每次量化的元素个数，仅支持32。

    [object Object][object Object]

    • 定义：

      • ⋅ 表示矩阵乘法。
      • ⊙ 表示逐元素乘法。

    • 输入：

      • $X∈\mathbb{Z_8}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
      • $W∈\mathbb{Z_8}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
      • $w\_scale∈\mathbb{R}^{E \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，K是特征维度, N是输出维度。
      • $x\_scale∈\mathbb{R}^{M}$：激活矩阵（左矩阵）的逐 token缩放因子，M是总token数，K是特征维度。
      • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。

    • 输出：

      • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
      • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。

    • 计算过程

      • 1.根据groupList[i]确定当前分组的 token ，$i \in [0,Len(groupList)]$

        [object Object]
    [object Object]

[object Object]

每个算子分为，必须先调用“aclnnGroupedMatmulSwigluQuantV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnGroupedMatmulSwigluQuantV2”接口执行计算。

[object Object]

• 参数说明

  [object Object]
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：
    • weight在A4W4下支持NZ输入转置，其他场景仅支持非转置。INT32为A8W4和A4W4场景下的适配用途，实际1个INT32会被解释为8个INT4数据，A8W8场景不支持ND数据格式。
    • 支持dequantMode参数：A8W4和A4W4场景支持取值0和1，A8W8场景仅支持取值0。
    • 不支持dequantDtype和quantMode参数。
    • x和weight不支持空Tensor。
    • weight NZ转置输入时，仅支持单Tensor模式
    • weight、weightScale和weightAssistMatrix支持单Tensor场景（tensorlist长度为1）和多Tensor场景（tensorlist长度大于1）。
  • Atlas 350 加速卡：
    • weight支持转置，仅支持ND格式。
    • 支持dequantMode参数：MX量化场景支持取值2，Pertoken场景支持取值为0。
    • 支持dequantDtype参数：MX量化场景支持取值0，Pertoken场景支持取值为0、1、27。
    • 支持quantMode参数：MX量化场景支持取值2，Pertoken场景支持取值为0。
    • 仅支持dequantMode和quantMode相同取值。
    • x和xScale支持M为0的空Tensor。
    • weight和weightScale支持N为0的空Tensor。
    • weight和weightScale目前仅支持tensorlist长度为1。

• 返回值

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

[object Object]

• 确定性计算：

  • aclnnGroupedMatmulSwigluQuantV2默认为确定性实现。

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  • A8W8/A8W4/A4W4量化场景下需满足以下约束条件：

    • 数据类型需要满足下表：

      [object Object]

    • shape约束需要满足下表：

      [object Object]

    • A8W8场景下，不支持N轴长度超过10240，不支持x的尾轴长度大于等于65536。

    • A8W4场景下，不支持N轴长度超过10240，不支持x的尾轴长度大于等于20000。

    • A4W4场景下，不支持N轴长度超过10240，不支持x的尾轴长度大于等于20000。

    • 多tensor场景下，即tensorlist长度大于1时，weight、weightScale和weightAssistMatrix的shape需要按照E的维度展平，例如{(E, K, N)}需要变成{E个(K, N)}。

• Atlas 350 加速卡：

  • groupList第1维最大支持1024，即最多支持1024个group。

  • MX量化场景下需满足以下约束条件：

    • 数据类型需要满足下表：

      [object Object]

    • shape约束需要满足下表：

      [object Object]

    • weightScale转置属性需要与weight保持一致。

    • MX量化场景下，需满足N为128对齐。

    • MXFP4场景不支持K=2。

    • MXFP4场景需满足K为偶数；当output的数据类型为FLOAT4_E2M1时，需满足N为大于等于4的偶数。

  • Pertoken量化场景下需满足以下约束条件：

    • 数据类型需要满足下表：

      [object Object]

    • shape约束需要满足下表：

      [object Object]

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  [object Object]

• Atlas 350 加速卡：

  [object Object]