aclnnSwinAttentionScoreQuant

支持的产品型号

• Atlas 推理系列产品。

接口原型

每个算子分为undefined，必须先调用“aclnnSwinAttentionScoreQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnSwinAttentionScoreQuant”接口执行计算。

• aclnnStatus aclnnSwinAttentionScoreQuantGetWorkspaceSize(const aclTensor *query, const aclTensor *key, const aclTensor *value, const aclTensor *scaleQuant, const aclTensor *scaleDequant1, const aclTensor *scaleDequant2, const aclTensor *biasQuantOptional, const aclTensor *biasDequant1Optional, const aclTensor *biasDequant2Optional, const aclTensor *paddingMask1Optional, const aclTensor *paddingMask2Optional, bool queryTransposeOptional, bool keyTransposeOptional, bool valueTransposeOptional, int64_t softmaxAxesOptional, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnSwinAttentionScoreQuant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

• 算子功能：支持SwinAttentionScore算子量化
• 计算公式如下：

$$out= Softmax(QK^T + bias1 + bias2)V$$

aclnnSwinAttentionScoreQuantGetWorkspaceSize

• 参数说明：
  • query(const aclTensor*，计算输入): 公式中的输入Q，维度支持四维，输入维度[N,C,S,H]，S<=1024，H=32/64，NC维度支持任意值，数据类型支持INT8类型，数据格式支持ND。
  • key(const aclTensor*，计算输入): 公式中的输入K，维度支持四维，输入维度[N,C,S,H]，S<=1024，H=32/64，NC维度支持任意值，数据类型支持INT8类型，数据格式支持ND。
  • value(const aclTensor*，计算输入): 公式中的输入V，维度支持四维，输入维度[N,C,S,H]，S<=1024，H=32/64，NC维度支持任意值，数据类型支持INT8类型，数据格式支持ND。
  • scaleQuant(const aclTensor*，计算输入): 维度支持二维，输入维度[1,S]，S<=1024，数据类型支持FP16，数据格式支持ND。
  • scaleDequant1(const aclTensor*，计算输入): 维度支持二维，输入维度[1,S]，S<=1024，数据类型支持UINT64，数据格式支持ND。
  • scaleDequant2(const aclTensor*，计算输入): 维度支持二维，输入维度[1,H]，H=32/64，数据类型支持UINT64，数据格式支持ND。
  • biasQuantOptional(const aclTensor*，计算输入): 当前不支持输入nullptr，维度支持二维，输入维度[1,S]，S<=1024，数据类型支持FP16，数据格式支持ND。(可选)
  • biasDequant1Optional(const aclTensor*，计算输入): 当前不支持输入nullptr，维度支持二维，输入维度[1,S]，S<=1024，输入支持INT32类型,数据格式支持ND。(可选)
  • biasDequant2Optional(const aclTensor*，计算输入): 当前不支持输入nullptr，维度支持二维，输入维度[1,H]，H=32/64，输入支持INT32类型,数据格式支持ND。(可选)
  • paddingMask1Optional(const aclTensor*，计算输入): 支持输入nullptr，维度支持四维，输入维度[1,C,S,S]，S<=1024，C维度支持任意值，数据格式支持ND，输入支持FP16类型。(可选)。
  • paddingMask2Optional(const aclTensor*，计算输入): 当前仅支持输入nullptr。(可选)。
  • queryTransposeOptional(bool，计算输入): query是否转置，当前仅支持不转置false。(可选)。
  • keyTransposeOptional(bool，计算输入): query是否转置，当前仅支持不转置false。(可选)。
  • valueTransposeOptional(bool，计算输入): query是否转置，当前仅支持不转置false。(可选)。
  • softmaxAxesOptional(int，计算输入): softmax计算时处理的维度的序号，当前仅支持最后一维-1。（可选）。
  • out(aclTensor*, 计算输出)：维度支持四维，输入维度[N,C,S,H]，S<=1024，H=32/64，数据类型支持支持FP16，数据格式支持ND，不支持非连续Tensor。
  • workspaceSize（uint64_t*, 出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**, 出参）：返回op执行器，包含了算子计算流程。
• 返回值： aclnnStatus：返回状态码，具体参见undefined。

aclnnSwinAttentionScoreQuant

• 参数说明

  • workspace(void *，入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t，入参)：在Device侧申请的workspace大小，由第一段接口aclnnSwinAttentionScoreQuantGetWorkspaceSize获取。
  • executor(aclOpExecutor *，入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream，入参)：指定执行任务的AscendCL Stream流。

• 返回值

  返回aclnnStatus状态码，具体参见undefined。

约束与限制

• QKV输入维度是[N,C,S,H]的情况下，S<=1024，H=32/64，NC维度支持任意值
• 不支持维度是[N,C,S,H]的QKV转置后输入
• 只支持非对称量化
• 不支持加bias2的功能
• 只支持对QK^T + bias1 + bias2的最后一维进行softmax操作

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。