aclnnDequantSwigluQuant

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	×
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

算子功能：在Swish门控线性单元激活函数前后添加dequant和quant操作，实现x的DequantSwigluQuant计算。
计算公式： $dequantOut = Dequant(x, weightScaleOptional, activationScaleOptional, biasOptional)$ $swigluOut = Swiglu(dequantOut)=Swish(A)*B$ $out = Quant(swigluOut, quantScaleOptional, quantOffsetOptional)$ 其中，A表示dequantOut的前半部分，B表示dequantOut的后半部分。

函数原型

每个算子分为undefined，必须先调用“aclnnDequantSwigluQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnDequantSwigluQuant”接口执行计算。

aclnnStatus aclnnDequantSwigluQuantGetWorkspaceSize(const aclTensor *x, const aclTensor *weightScaleOptional, const aclTensor *activationScaleOptional, const aclTensor *biasOptional, const aclTensor *quantScaleOptional, const aclTensor *quantOffsetOptional, const aclTensor *groupIndexOptional, bool activateLeft, char *quantModeOptional, const aclTensor *yOut, const aclTensor *scaleOut, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnDequantSwigluQuant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnDequantSwigluQuantGetWorkspaceSize

参数说明：
- x（aclTensor*，计算输入）：输入待处理的数据，公式中的 $x$ ，Device侧的aclTensor，数据类型支持FLOAT16、BFLOAT16、INT32。支持undefined，undefined支持ND，shape为(N...,H)，最后一维需要是2的倍数，且x的维度必须大于1维。
- weightScaleOptional（aclTensor*，计算输入）：weight的反量化scale，公式中的 $weightScaleOptional$ $w e i g h tS c a l e Opt i o na l$ ，DDevice侧的aclTensor。支持undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持FLOAT，shape支持1维，shape表示为[H]，且取值H和x最后一维保持一致。可选参数，支持传空指针。
- activationScaleOptional（aclTensor*，计算输入）：激活函数的反量化scale，公式中的 $activationScaleOptional$ $a c t i v a t i o n S c a l e Opt i o na l$ ，Device侧的aclTensor。支持undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持FLOAT，shape为[N..., 1]，最后一维为1，其余和x保持一致。可选参数，支持传空指针。
- biasOptional（aclTensor*，计算输入）：Matmul的bias，公式中的 $biasOptional$ ，Device侧的aclTensor，数据类型支持FLOAT、FLOAT16、BFLOAT16、INT32。支持undefined，undefined支持ND。shape支持1维，shape表示为[H]，且取值H和x最后一维保持一致。可选参数，支持传空指针。
- quantScaleOptional（aclTensor*，计算输入）：量化的scale，公式中的 $quantScaleOptional$ $q u an tS c a l e Opt i o na l$ ，Device侧的aclTensor。支持undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持FLOAT、FLOAT16，当quantModeOptional为static时，shape为1维，值为1，shape表示为shape[1]；quantModeOptional为dynamic时，shape维数为1维，值为x的最后一维的二分之一，shape表示为shape[H/2]。可选参数，支持传空指针。
- quantOffsetOptional（aclTensor*，计算输入）：量化的offset，公式中的 $quantOffsetOptional$ $q u an tO ff se tOpt i o na l$ ，Device侧的aclTensor。支持undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持FLOAT，当quantModeOptional为static时，shape为1维，值为1，shape表示为shape[1]：quantModeOptional为dynamic时，shape维数为1维，值为x的最后一维的二分之一，shape表示为shape[H/2]。可选参数，支持传空指针。
- groupIndexOptional（aclTensor*，计算输入）：MoE分组需要的group_index，Device侧的aclTensor。支持undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持INT32、INT64，shape支持1维Tensor。可选参数，支持传空指针。
- activateLeft（bool，计算输入）：表示是否对输入的左半部分做swiglu激活，数据类型支持bool。当值为false时，对输入的右半部分做激活。
- quantModeOptional（char*，计算输入）：支持“dynamic”和“static"，表示使用动态量化还是静态量化，数据类型支持string。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：支持“dynamic”和“static"。
- yOut（aclTensor*，计算输出）：Device侧的aclTensor，undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持INT8。
- scaleOut（aclTensor*，计算输出）：Device侧的aclTensor，undefined，undefined支持ND。
  - [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：数据类型支持FLOAT。
- workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
- executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。
返回值： aclnnStatus：返回状态码，具体参见undefined。

[object Object]

aclnnDequantSwigluQuant

参数说明：
- workspace（void*，入参）：在Device侧申请的workspace内存地址。
- workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnDequantSwigluQuantGetWorkspaceSize获取。
- executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
- stream（aclrtStream，入参）：指定执行任务的Stream。
返回值： aclnnStatus：返回状态码，具体参见undefined。

约束说明

[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：
- x的最后一维需要是2的倍数，且x的维数必须大于1维。
- 当quantModeOptional为static时，quantScaleOptional和quantOffsetOptional为1维，值为1；quantModeOptional为dynamic时，quantScaleOptional和quantOffsetOptional的维数为1维，值为x的最后一维除2。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。

[object Object]