aclnnAddLora

产品支持情况

[object Object]undefined

功能说明

• 接口功能：

  将输入x根据输入索引indices，分别和对应的weightA，weightB相乘，然后将结果累加到输入y上并输出。

• 计算公式：

  给定输入张量x，最后一维的长度为2d，函数AddLora进行以下计算：

  1. 将x根据indices中的索引进行重排，对应同一组权重的x排列在一起。

  2. 循环每个Lora分组，分别拿相应的x和weightA做矩阵乘：

     $$Z1 = x_{i} \cdot weightA[i, layerIdx, :, :]$$

  3. 得到的[object Object]继续和weightB做矩阵乘：

     $$Z2 = Z1 \cdot weightB[i, layerIdx, :, :] \times scale$$

  4. 最终把[object Object]输出累加到y上：

     $$\text{out} = y[:, yOffset: yOffset+ySliceSize] + Z2$$

函数原型

每个算子分为，必须先调用“aclnnAddLoraGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnAddLora”接口执行计算。

aclnnFatreluMulGetWorkspaceSize

• 参数说明：

  [object Object]
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：weightB和weightAOptional的数据格式支持ND。

• 返回值：

aclnnStatus：返回状态码，具体参见。 第一段接口会完成入参校验，出现以下场景时报错：

[object Object]

aclnnFatreluMul

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性计算：
  • aclnnAddLora默认确定性实现。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。