aclnnSwiGluQuant

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	×
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：在SwiGlu激活函数后添加quant操作，实现输入x的SwiGluQuant计算

• 算子支持范围：当前SwiGluQuant仅支持MoE场景，SwiGluQuant的输入x和group_index来自于GroupedMatMul算子和MoeInitRouting的输出，通过group_index入参实现MoE分组动态量化、静态per_tensor量化、静态per_channel量化功能。

• 动态量化计算公式：

  $$Act = SwiGLU(x) = Swish(A)*B \\ Y_{tmp}[0\colon g[0],\colon] = Act[0\colon g[0],\colon] * smooth\_scales[0,\colon], i=0 \\ Y_{tmp}[g[i]\colon g[i+1], \colon] = Act[g[i]\colon g[i+1], \colon] * smooth\_scales[i+1, \colon], i \in (0, G) \cap \mathbb{Z}\\ scale=127/row\_max(abs(Y_{tmp}))$$ $$Y = Cast(Mul(Y_{tmp}, Scale))$$

  其中，A表示输入x的前半部分，B表示输入x的后半部分，g表示group_index，G为group_index的分组数量。

• 静态量化计算公式：

  $$Act = SwiGLU(x) = Swish(A)*B \\ Y_{tmp}[0\colon g[0],\colon] = Act[0\colon g[0],\colon] * smooth\_scales[0,\colon] + offsets[0,\colon], i=0 \\ Y_{tmp}[g[i]\colon g[i+1], \colon] = Act[g[i]\colon g[i+1], \colon] * smooth\_scales[i+1, \colon] + offsets[i+1, \colon], i \in (0, G) \cap \mathbb{Z}\\$$ $$Y = Cast(Y_{tmp})$$

  其中，A表示输入x的前半部分，B表示输入x的后半部分，g表示group_index，G为group_index的分组数量。

函数原型

每个算子分为undefined，必须先调用“aclnnSwiGluQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnSwiGluQuant”接口执行计算。

• aclnnStatus aclnnSwiGluQuantGetWorkspaceSize(const aclTensor *x, const aclTensor *smoothScalesOptional, const aclTensor *offsetsOptional, const aclTensor *groupIndexOptional, bool activateLeft, char *quantModeOptional, const aclTensor *yOut, const aclTensor *scaleOut, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnSwiGluQuant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnSwiGluQuantGetWorkspaceSize

• 参数说明：

  • x(aclTensor*，计算输入): 输入待处理的数据，对应公式x变量，Device侧的aclTensor，数据类型支持FLOAT16、BFLOAT16、FLOAT。支持undefined，undefined支持ND。x的最后一维需要为2的倍数，且x的维数必须大于1维，当前仅支持输入x的最后一维长度不超过8192。不支持空Tensor。
  • smoothScalesOptional(aclTensor*，计算输入): 量化的smooth_scales，对应公式smooth_scales变量，Device侧的aclTensor，数据类型支持FLOAT。支持undefined，undefined支持ND。shape支持[G, N]，[G, ]，其中G代表groupIndex分组数量，N为计算输入x的最后一维大小的二分之一，当前版本下不支持用户传入空指针。不支持空Tensor。
  • offsetsOptional(aclTensor*，计算输入): 对应公式offsets，Device侧aclTensor，该参数在动态量化场景下不生效，用户传入空指针即可。静态量化场景下：数据类型支持FLOAT，per_channel模式下shape支持[G, N]，per_tensor模式下shape支持[G, ]，且数据类型和shape需要与smoothScalesOptional保持一致。支持非连续的Tensor，数据格式支持ND。支持空Tensor。
  • groupIndexOptional(aclTensor*，计算输入): MoE分组需要的group_index，对应公式group_index变量，Device侧的aclTensor，数据类型支持INT32。支持undefined，undefined支持ND，shape支持[G, ]，group_index内元素要求为非递减，且最大值不得超过输入x的除最后一维之外的所有维度大小之积。支持空Tensor。
  • activateLeft(bool，计算输入)：true代表激活输入x的前半部分，false代表激活输入x后半部分，数据类型支持bool。
  • quantModeOptional(char*，计算输入)：数据类型支持String。"static"表示静态量化、"dynamic"表示动态量化、"dynamic_msd"表示动态MSD量化。当前仅支持"dynamic"动态量化, "static"静态量化。静态量化仅支持per_tensor量化和per_channel量化，用户传入空指针时代表动态量化。
  • yOut(aclTensor*, 计算输出)：Device侧的aclTensor，数据类型支持INT8，undefined，undefined支持ND，计算输出yOut的shape最后一维大小为计算输入x最后一维的二分之一，其余维度与x保持一致。
  • scaleOut(aclTensor*, 计算输出)：Device侧的aclTensor，数据类型支持FLOAT，undefined，undefined支持ND，计算输出scaleOut的shape与计算输入x相比，无最后一维，其余维度与计算输入x保持一致。
  • workspaceSize(uint64_t*，出参)：返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**，出参)：返回op执行器，包含了算子计算流程。

• 返回值： aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnSwiGluQuant

• 参数说明：

  • workspace(void *, 入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnSwiGluQuantGetWorkspaceSize获取。
  • executor(aclOpExecutor *, 入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参)：指定执行任务的Stream。

• 返回值： aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。