aclnnGroupedMatmulSwigluQuant

产品支持情况

[object Object]undefined

功能说明

• 接口功能：融合GroupedMatmul 、dquant、swiglu和quant，详细解释见计算公式。

• 计算公式：

  [object Object]

  • 定义：

    • ⋅ 表示矩阵乘法。
    • ⊙ 表示逐元素乘法。
    • $\left \lfloor x\right \rceil$ 表示将x四舍五入到最近的整数。
    • $\mathbb{Z_8} = \{ x \in \mathbb{Z} | −128≤x≤127 \}$
    • $\mathbb{Z_{32}} = \{ x \in \mathbb{Z} | -2147483648≤x≤2147483647 \}$

  • 输入：

    • $X∈\mathbb{Z_8}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
    • $W∈\mathbb{Z_8}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
    • $w\_scale∈\mathbb{R}^{E \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，N是输出维度。
    • $x\_scale∈\mathbb{R}^{M}$：激活矩阵（左矩阵）的逐 token缩放因子，M是总token数。
    • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。

  • 输出：

    • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
    • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。

  • 计算过程

    • 1.根据groupList[i]确定当前分组的 token ，$i \in [0,Len(groupList)]$。

      [object Object]

    • 2.根据分组确定的入参进行如下计算：

      $C_{i} = (X_{i}\cdot W_{i} )\odot x\_scale_{i\ BroadCast} \odot w\_scale_{i\ BroadCast}$

      $C_{i,act}, gate_{i} = split(C_{i})$

      $S_{i}=Swish(C_{i,act})\odot gate_{i}$   其中$Swish(x)=\frac{x}{1+e^{-x}}$

    • 3.量化输出结果

      $Q\_scale_{i} = \frac{max(|S_{i}|)}{127}$

      $Q_{i} = \left\lfloor \frac{S_{i}}{Q\_scale_{i}} \right\rceil$

  [object Object]
  • 定义：
    • ⋅ 表示矩阵乘法。
    • ⊙ 表示逐元素乘法。
    • $\left \lfloor x\right \rceil$ 表示将x四舍五入到最近的整数。
    • $\mathbb{Z_8} = \{ x \in \mathbb{Z} | −128≤x≤127 \}$
    • $\mathbb{Z_4} = \{ x \in \mathbb{Z} | −8≤x≤7 \}$
    • $\mathbb{Z_{32}} = \{ x \in \mathbb{Z} | -2147483648≤x≤2147483647 \}$
  • 输入：
    • $X∈\mathbb{Z_8}^{M \times K}$：激活矩阵（左矩阵），M是总token数，K是特征维度。
    • $W∈\mathbb{Z_4}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
    • $weightAsistMatrix∈\mathbb{R}^{E \times N}$：计算矩阵乘时的辅助矩阵（生成辅助矩阵的计算过程见下文）。
    • $w\_scale∈\mathbb{R}^{E \times K\_group\_num \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，K_group_num是在K轴维度上的分组数，N是输出维度。
    • $x\_scale∈\mathbb{R}^{M}$：激活矩阵（左矩阵）的逐token缩放因子，M是总token数。
    • $grouplist∈\mathbb{N}^{E}$：cumsum或count的分组索引列表。
  • 输出：
    • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
    • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。
  • 计算过程

    • 1.根据groupList[i]确定当前分组的token，$i \in [0,Len(groupList)]$。

      • 分组逻辑与A8W8相同。

    • 2.生成辅助矩阵（weightAsistMatrix）的计算过程（请注意weightAsistMatrix部分计算为离线生成作为输入，并非算子内部完成）：

      • 当为per-channel量化（$w\_scale$为2维）：

        $weightAsistMatrix_{i} = 8 × weightScale × Σ_{k=0}^{K-1} weight[:,k,:]$

      • 当为per-group量化（$w\_scale$为3维）：

        $weightAsistMatrix_{i} = 8 × Σ_{k=0}^{K-1} (weight[:,k,:] × weightScale[:, ⌊k/num\_per\_group⌋, :])$

        注：$num\_per\_group = K // K\_group\_num$

    • 3.根据分组确定的入参进行如下计算：

      • 3.1.将左矩阵$\mathbb{Z_8}$，转变为高低位 两部分的$\mathbb{Z_4}$ $X\_high\_4bits_{i} = \lfloor \frac{X_{i}}{16} \rfloor$ $X\_low\_4bits_{i} = X_{i} \& 0x0f - 8$

      • 3.2.做矩阵乘时，使能per-channel或per-group量化 per-channel：

        $C\_high_{i} = (X\_high\_4bits_{i} \cdot W_{i}) \odot w\_scale_{i}$

        $C\_low_{i} = (X\_low\_4bits_{i} \cdot W_{i}) \odot w\_scale_{i}$

        per-group：

        $C\_high_{i} = \\ Σ_{k=0}^{K-1}((X\_high\_4bits_{i}[:, k * num\_per\_group : (k+1) * num\_per\_group] \cdot W_{i}[k * num\_per\_group : (k+1) * num\_per\_group, :]) \odot w\_scale_{i}[k, :] )$

        $C\_low_{i} = \\ Σ_{k=0}^{K-1}((X\_low\_4bits_{i}[:, k * num\_per\_group : (k+1) * num\_per\_group] \cdot W_{i}[k * num\_per\_group : (k+1) * num\_per\_group, :]) \odot w\_scale_{i}[k, :] )$

      • 3.3.将高低位的矩阵乘结果还原为整体的结果

        $C_{i} = (C\_high_{i} * 16 + C\_low_{i} + weightAsistMatrix_{i}) \odot x\_scale_{i}$

        $C_{i,act}, gate_{i} = split(C_{i})$

        $S_{i}=Swish(C_{i,act})\odot gate_{i}$    其中$Swish(x)=\frac{x}{1+e^{-x}}$

    • 3.量化输出结果

      $Q\_scale_{i} = \frac{max(|S_{i}|)}{127}$

      $Q_{i} = \left\lfloor \frac{S_{i}}{Q\_scale_{i}} \right\rceil$

  [object Object]

函数原型

每个算子分为，必须先调用“aclnnGroupedMatmulSwigluQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnGroupedMatmulSwigluQuant”接口执行计算。

aclnnGroupedMatmulSwigluQuantGetWorkspaceSize

• 参数说明

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnGroupedMatmulSwigluQuant

• 参数说明

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性计算：

  • aclnnGroupedMatmulSwigluQuant默认确定性实现。

• A8W8场景

  • 1.x的尾轴长度不能大于等于65536。
  • 2.weight的数据格式仅支持FRACTAL_NZ。
  • 3.N轴长度不能超过10240。

• A8W4场景

  • 1.x的尾轴长度不能大于等于20000。
  • 2.N轴长度不能超过10240。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。