aclnnAddLora

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	×
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	√
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：

  将输入x根据输入索引indices，分别和对应的weightA，weightB相乘，然后将结果累加到输入y上并输出。

• 计算公式：

  给定输入张量 x，最后一维的长度为 2d，函数 AddLora 进行以下计算：

  1. 将x根据indices中的索引进行重排，对应同一组权重的x排列在一起。

  2. 循环每个Lora分组，分别拿相应的x和weightA做矩阵乘：

     $$Z1 = x_{i} \cdot weightA[i, layerIdx, :, :]$$

  3. 得到的Z1继续和weightB做矩阵乘：

     $$Z2 = Z1 \cdot weightB[i, layerIdx, :, :] \times scale$$

  4. 最终把Z2输出累加到y上：

     $$\text{out} = y[:, yOffset: yOffset+ySliceSize] + Z2$$

函数原型

每个算子分为undefined，必须先调用“aclnnAddLoraGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnAddLora”接口执行计算。

• aclnnStatus aclnnAddLoraGetWorkspaceSize(const aclTensor *y, const aclTensor *x, const aclTensor *weightB, const aclTensor *indices, const aclTensor *weightAOptional, int64_t layerIdx, double scale, int64_t yOffset, int64_t ySliceSize, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnAddLora(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnAddLoraGetWorkspaceSize

• 参数说明：

  • y（aclTensor*，计算输入）：表示待进行累加更新的张量，公式中的y，Device侧的aclTensor，数据类型支持FLOAT16。shape维度2维：[B, H3]。undefined支持ND。第一维需要和x的第一维一致，都用B表示。支持undefined，不支持空Tensor。
  • x（aclTensor*，计算输入）：表示分组前的输入张量，公式中的x，Device侧的aclTensor，数据类型支持FLOAT16。shape维度2维：[B, H1]，且H1是16的整数倍。undefined支持ND。支持undefined，不支持空Tensor。
  • weightB（aclTensor*，计算输入）：表示进行矩阵乘的第二个权重矩阵，公式中的weightB，Device侧的aclTensor，数据类型支持FLOAT16。shape维度4维：[W, L, H2, R]，第三维需要小于y的第二维（H2<H3），且H2是16的整数倍。支持undefined，不支持空Tensor。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：undefined支持ND。
    • [object Object]Atlas 推理系列产品[object Object]：undefined支持ND、NZ。
  • indices（aclTensor*，计算输入）：标识输入x的分组索引，公式中的indices，Device侧的aclTensor，数据类型支持INT32。shape维度1维：[B]。undefined支持ND。第一维需要和x以及y的第一维保持一致，都用B表示。支持undefined，不支持空Tensor。
  • weightAOptional（aclTensor*，计算输入）：表示进行矩阵乘的第一个权重矩阵，为空时会跳过第一个矩阵乘，公式中的weightA，Device侧的aclTensor，数据类型支持FLOAT16。shape维度4维：[W, L, R, H1]，前两维需要和weightB的前两维一致，用W和L表示；第三维需要和weightB的第四维保持一致，都用R表示；第四维需要和x的第二维保持一致，都用H1表示，需要是16的整数倍。支持undefined，不支持空Tensor。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]：undefined支持ND。
    • [object Object]Atlas 推理系列产品[object Object]：数据格式支持ND、NZ。
  • layerIdx（int64_t，计算输入）：表示层数索引，公式中的layerIdx，Host侧的整型。值需要小于weightB的第二个维度L。
  • scale（double，计算输入）：表示缩放系数，公式中的scale，Host侧的浮点型。
  • yOffset（int64_t，计算输入）：表示y更新时的偏移量，公式中的yOffset，Host侧的整型。值需要小于y的第二个维度H3。
  • ySliceSize（int64_t，计算输入）：表示y更新时的范围，公式中的ySliceSize，Host侧的整型。值需要小于y的第二个维度H3。
  • out（aclTensor*，计算输出）：输出张量，公式中的输出out，Device侧的aclTensor，数据类型支持FLOAT16。shape维度2维。undefined支持ND，输出的数据类型与输入保持一致，输出shape和输入y的shape维度一致。支持undefined。
  • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnAddLora

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnAddLoraGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。