[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：融合算子，实现SwiGLU激活函数与双轴动态块量化的组合计算。先对输入计算SwiGLU激活函数，然后对结果同时在 -1 轴和 -2 轴进行基于块的动态量化，输出低精度的FP4/FP8 张量和对应的缩放因子。

• 计算公式：

  阶段1：SwiGLU激活函数

  • 当[object Object]时：

    $$A_i = x_i \text{的前半部分}, B_i = x_i \text{的后半部分}$$

  • 当[object Object]时：

    $$A_i = x_i \text{的后半部分}, B_i = x_i \text{的前半部分}$$

  • SwiGLU计算：

    $$swigluOut_i = Swish(A_i) * B_i = \frac{A_i}{1 + e^{-A_i}} * B_i$$

  阶段2：双轴动态块量化

  • -1 轴量化（列方向）：将SwiGLU结果在 -1 轴上按照32 个数进行分组，一组32 个数 $\{\{V_i\}_{i=1}^{32}\}$ 量化为 $\{mxscale1, \{P_i\}_{i=1}^{32}\}$

    $$shared\_exp = floor(log_2(max_i(|V_i|))) - emax$$ $$mxscale1 = 2^{shared\_exp}$$ $$P_i = cast\_to\_dst\_type(V_i/mxscale1, round\_mode), \space i\space from\space 1\space to\space 32$$

  • -2 轴量化（行方向）：将SwiGLU结果在 -2 轴上按照32 个数进行分组，一组32 个数 $\{\{V_j\}_{j=1}^{32}\}$ 量化为 $\{mxscale2, \{P_j\}_{j=1}^{32}\}$

    $$shared\_exp = floor(log_2(max_j(|V_j|))) - emax$$ $$mxscale2 = 2^{shared\_exp}$$ $$P_j = cast\_to\_dst\_type(V_j/mxscale2, round\_mode), \space j\space from\space 1\space to\space 32$$

  • -1 轴量化后的 $P_{i}$ 按对应的 $V_{i}$ 的位置组成输出y1Out，mxscale1 按对应的 -1 轴维度上的分组组成输出mxscale1Out。-2 轴量化后的 $P_{j}$ 按对应的 $V_{j}$ 的位置组成输出y2Out，mxscale2 按对应的 -2 轴维度上的分组组成输出mxscale2Out。

  • emax: 对应数据类型的最大正则数的指数位。

    [object Object]undefined

[object Object]

每个算子分为，必须先调用"aclnnSwigluMxQuantWithDualAxisGetWorkspaceSize"接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用"aclnnSwigluMxQuantWithDualAxis"接口执行计算。

[object Object]

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

[object Object]

• 输入x必须为2 维张量，最后一维必须能被2 整除（shape为 [M, 2N]）。
• FP8 输出类型（FLOAT8_E4M3FN）仅支持"rint"舍入模式。
• groupIndexOptional采用cumsum模式，每个值表示对应group的行数累积值，groupIndexOptional的每个元素值需要大于0且最后一个元素值要等于M。
• 关于mxscale1Out、mxscale2Out的shape约束说明：
  • mxscale1Out.shape[-2] = (ceil(N/32) + 2 - 1) / 2。
  • mxscale1Out.shape[-1] = 2。
  • mxscale2Out.shape[-1] = 2。
  • 当groupIndexOptional存在时，mxscale2Out.shape[0] = floor(M/64) + G；当groupIndexOptional不存在时，mxscale2Out.shape[0] = ceil(M/64)。
  • 其他维度与SwiGLU输出一致。
• 默认支持饱和模式。
• 确定性说明：aclnnSwigluMxQuantWithDualAxis默认确定性实现。

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。