aclnnTransformBiasRescaleQkv

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能： TransformBiasRescaleQkv 算子是一个用于处理多头注意力机制中查询（Query）、键（Key）、值（Value）向量的接口。它用于调整这些向量的偏置（Bias）和缩放（Rescale）因子，以优化注意力计算过程。

• 计算公式：
  逐个元素计算过程见公式：

  $$\left\{ \begin{array}{ll} q_o=(q_i+q_{bias})/\sqrt{dim\_per\_head} \\ k_o=k_i+k_{bias} \\ v_o=v_i+v_{bias} \end{array}\right.$$

  公式中：

  • dim_per_head为每个注意力头的维度。
  • $q_o$、$k_o$、$v_o$分别为查询（Query）、键（Key）、值（Value）向量的输出元素。
  • $q_i$、$k_i$、$v_i$分别为查询（Query）、键（Key）、值（Value）向量的输入元素。
  • $q_{bias}$、$k_{bias}$、$v_{bias}$分别为查询（Query）、键（Key）、值（Value）向量的输入元素偏移。

函数原型

每个算子分为undefined，必须先调用“aclnnTransformBiasRescaleQkvGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnTransformBiasRescaleQkv”接口执行计算。

• aclnnStatus aclnnTransformBiasRescaleQkvGetWorkspaceSize(const aclTensor *qkv, const aclTensor *qkvBias, int64_t numHeads, const aclTensor *qOut, const aclTensor *kOut, const aclTensor *vOut, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnTransformBiasRescaleQkv(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnTransformBiasRescaleQkvGetWorkspaceSize

• 参数说明：

  • qkv（aclTensor*，计算输入）：输入的张量，公式中的$q_i$、$k_i$、$v_i$。Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，不支持空Tensor，undefined支持ND。shape为{B,T,3 * num_heads * dim_per_head}三维张量。B为批量大小，T为序列长度，num_heads为注意力头数，dim_per_head为每个注意力头的维度。
  • qkvBias（aclTensor*，计算输入）：输入的张量，公式中的$q_{bias}$、$k_{bias}$、$v_{bias}$。Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，不支持空Tensor，undefined支持ND。shape为{3 * num_heads * dim_per_head}一维张量。
  • numHeads（int64_t，计算输入）：输入的头数，数据类型支持Int64，取值大于0。
  • qOut（aclTensor*，计算输出）：输出张量，公式中的$q_o$。Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，undefined支持ND。shape为{B,num_heads,T,dim_per_head}四维张量。
  • kOut（aclTensor*，计算输出）：输出张量，公式中的$k_o$。Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，undefined支持ND。shape为{B,num_heads,T,dim_per_head}四维张量。
  • vOut（aclTensor*，计算输出）：输出张量，公式中的$v_o$。Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，undefined支持ND。shape为{B,num_heads,T,dim_per_head}四维张量。
  • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnTransformBiasRescaleQkv

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnTransformBiasRescaleQkvGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

• 输入qkv、qkvBias和输出qOut、kOut、vOut的数据类型需要保持一致。
• 输入值为nan，输出也为nan，输入是inf，输出也是inf。
• 输入是-inf，输出也是-inf。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。