aclnnGroupedMatmulSwigluQuantWeightNZ

产品支持情况

[object Object]undefined

功能说明

• 接口功能：融合GroupedMatmul、dquant、swiglu和quant，详细解释见计算公式，接口的weightNZ特化版本。

• 计算公式：

  • 定义：

    • ⋅ 表示矩阵乘法。
    • ⊙ 表示逐元素乘法。
    • $\left \lfloor x\right \rceil$ 表示将x四舍五入到最近的整数。
    • $\mathbb{Z_8} = \{ x \in \mathbb{Z} | −128≤x≤127 \}$
    • $\mathbb{Z_{32}} = \{ x \in \mathbb{Z} | -2147483648≤x≤2147483647 \}$

  • 输入：

    • $X∈\mathbb{Z_8}^{M \times K}$：输入矩阵（左矩阵），M是总token数，K是特征维度。
    • $W∈\mathbb{Z_8}^{E \times K \times N}$：分组权重矩阵（右矩阵），E是专家个数，K是特征维度，N是输出维度。
    • $bias∈\mathbb{Z_{32}}^{E \times N}$：矩阵乘计算的偏移值，E是专家个数，N是输出维度。
    • $offset∈\mathbb{R}^{E \times N}$：per-channel非对称反量化的偏移，E是专家个数，N是输出维度。
    • $w\_scale∈\mathbb{R}^{E \times N}$：分组权重矩阵（右矩阵）的逐通道缩放因子，E是专家个数，N是输出维度。
    • $x\_scale∈\mathbb{R}^{M}$：输入矩阵（左矩阵）的逐 token缩放因子，M是总token数。
    • $grouplist∈\mathbb{N}^{E}$：前缀和的分组索引列表。

  • 输出：

    • $Q∈\mathbb{Z_8}^{M \times N / 2}$：量化后的输出矩阵。
    • $Q\_scale∈\mathbb{R}^{M}$：量化缩放因子。
    • $Q\_offset∈\mathbb{R}^{M}$：量化偏移因子。

  • 计算过程

    • 1.根据groupList[i]确定当前分组的token，$i \in [0,Len(groupList)]$。

      [object Object]

    • 2.根据分组确定的入参进行如下计算：

      $C_{i} = (X_{i}\cdot W_{i} )\odot x\_scale_{i\ BroadCast} \odot w\_scale_{i\ BroadCast}$

      $C_{i,act}, gate_{i} = split(C_{i})$

      $S_{i}=Swish(C_{i,act})\odot gate_{i}$   其中$Swish(x)=\frac{x}{1+e^{-x}}$

      [object Object]

    • 3.确定量化方式

      • 当量化方式为对称量化时：

        $Q\_scale_{i} = \frac{max(|S_{i}|)}{127}$

        $Q_{i} = \left \lfloor \frac{S_{i}}{Q\_scale_{i}}\right \rceil$

      • 当量化方式为非对称量化时：(暂不支持)

        $Q\_scale_{i} = \frac{max(S_{i})-min(S_{i})}{255}$

        $Q\_offset_{i} = -128 - \left \lfloor \frac{min(S_{i})}{Q\_scale_{i}}\right \rceil$

        $Q_{i} = \left \lfloor \frac{S_{i}}{ Q\_scale_{i} } + Q\_offset_{i}\right \rceil$

函数原型

每个算子分为，必须先调用“aclnnGroupedMatmulSwigluQuantWeightNZGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnGroupedMatmulSwigluQuantWeightNZ”接口执行计算。

• [object Object]
• [object Object]

aclnnGroupedMatmulSwigluQuantWeightNZGetWorkspaceSize

• 参数说明：

  • x（aclTensor*，计算输入）：左矩阵，公式中的$X$，Device侧的aclTensor。shape支持2维，假设shape为[M,K]，则K必须小于65536，数据类型支持INT8，支持ND，支持。

  • weight（aclTensor*，计算输入）：权重矩阵，公式中的$W$，Device侧的aclTensor。shape支持5维，数据类型支持INT8，支持FRACTAL_NZ，支持，需注意该接口会忽略weight的数据格式，并强制视为FRACTAL_NZ格式。

  • bias（aclTensor*，计算输入）：矩阵乘计算的偏移值，公式中的$bias$，shape支持2维，数据类型支持INT32，预留输入，暂不支持，需要传空指针。

  • offset（aclTensor*，计算输入）：per-channel非对称反量化的偏移，公式中的$offset$，shape支持2维，数据类型支持Float，预留输入，暂不支持，需要传空指针。

  • weightScale（aclTensor*，计算输入）：右矩阵的量化因子，公式中的$w\_scale$，Device侧的aclTensor。shape支持2维，首轴长度需与[object Object]的首轴维度相等，尾轴长度需要与weight还原为ND格式的尾轴相同，数据类型支持FLOAT、FLOAT16、BFLOAT16，支持ND，支持。

  • xScale（aclTensor*，计算输入）：左矩阵的量化因子，公式中的$x\_scale$，Device侧的aclTensor。shape支持1维，长度需与[object Object]的首轴维度相等，数据类型支持FLOAT，支持ND，支持。

  • groupList（aclTensor*，计算输入）：指示每个分组参与计算的Token个数，公式中的$grouplist$，Device侧的aclTensor。shape支持1维，长度需与[object Object]的首轴维度相等，数据类型支持INT64，支持ND，支持，grouplist中的最后一个值约束了输出数据的有效部分，详见功能说明中的计算过程部分。

  • output（aclTensor*，计算输出）：输出的量化结果，公式中的$Q$，Device侧的aclTensor。数据类型支持INT8，shape支持2维，Device侧的aclTensor。支持ND，支持。

  • outputScale（aclTensor*，计算输出）：输出的量化因子，公式中的$Q\_scale$，Device侧的aclTensor。数据类型支持FLOAT，shape支持1维，Device侧的aclTensor。支持ND，支持。

  • outputOffset（aclTensor*，计算输出）：输出的非对称量化的偏移，公式中的$Q\_offset$，Device侧的aclTensor，shape支持1维，数据类型支持FLOAT，预留输入，暂不支持，需要传空指针。

  • workspaceSize（uint64_t*，出参）：返回用户需要在npu device侧申请的workspace大小。

  • executor（aclOpExecutor**，计算输出）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  [object Object]

aclnnGroupedMatmulSwigluQuantWeightNZ

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnGroupedMatmulSwigluQuantWeightNZGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。