aclnnAddLora

产品支持情况

[object Object]undefined

功能说明

• 算子功能：

  将输入x根据输入索引indices，分别和对应的weightA，weightB相乘，然后将结果累加到输入y上并输出。

• 计算公式：

  给定输入张量 [object Object]，最后一维的长度为 [object Object]，函数 [object Object] 进行以下计算：

  1. 将x根据indices中的索引进行重排，对应同一组权重的x排列在一起。

  2. 循环每个Lora分组，分别拿相应的x和weightA做矩阵乘：

     $$Z1 = x_{i} \cdot weightA[i, layerIdx, :, :]$$

  3. 得到的[object Object]继续和weightB做矩阵乘：

     $$Z2 = Z1 \cdot weightB[i, layerIdx, :, :] \times scale$$

  4. 最终把[object Object]输出累加到y上：

     $$\text{out} = y[:, yOffset: yOffset+ySliceSize] + Z2$$

函数原型

每个算子分为，必须先调用“aclnnAddLoraGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnAddLora”接口执行计算。

• [object Object]
• [object Object]

aclnnAddLoraGetWorkspaceSize

• 参数说明：

  • y（aclTensor*，计算输入）：表示待进行累加更新的张量，公式中的[object Object]，Device侧的aclTensor，数据类型支持FLOAT16。shape维度2维：[B, H3]，H3是16的整数倍，同时H3的范围必须支持1~131072。支持ND。第一维需要和x的第一维一致，都用[object Object]表示。支持，不支持空Tensor。
  • x（aclTensor*，计算输入）：表示分组前的输入张量，公式中的[object Object]，Device侧的aclTensor，数据类型支持FLOAT16。shape维度2维：[B, H1]，且H1是16的整数倍。支持ND。支持，不支持空Tensor。
  • weightB（aclTensor*，计算输入）：表示进行矩阵乘的第二个权重矩阵，公式中的[object Object]，Device侧的aclTensor，数据类型支持FLOAT16。shape维度4维：[W, L, H2, R]，第三维需要小于y的第二维（H2 < H3），且H2是16的整数倍，同时H2的范围必须支持1~131072；R的范围必须支持1~128，同时为16的整数倍。支持，不支持空Tensor。
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：支持ND。
    • [object Object]Atlas 推理系列产品[object Object]：支持ND、NZ。
  • indices（aclTensor*，计算输入）：标识输入x的分组索引，公式中的[object Object]，Device侧的aclTensor，数据类型支持INT32。shape维度1维：[B]。支持ND。第一维需要和x以及y的第一维保持一致，都用[object Object]表示。支持，不支持空Tensor。
  • weightAOptional（aclTensor*，计算输入）：表示进行矩阵乘的第一个权重矩阵，为空时会跳过第一个矩阵乘，公式中的[object Object]，Device侧的aclTensor，数据类型支持FLOAT16。shape维度4维：[W, L, R, H1]，前两维需要和[object Object]的前两维一致，用[object Object]和[object Object]表示，其中W的范围支持1~32；L范围支持1~32；第三维需要和[object Object]的第四维保持一致，都用[object Object]表示；第四维需要和[object Object]的第二维保持一致，都用[object Object]表示，需要是16的整数倍。支持，不支持空Tensor。
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：支持ND。
    • [object Object]Atlas 推理系列产品[object Object]：数据格式支持ND、NZ。
  • layerIdx（int64_t，计算输入）：表示层数索引，公式中的[object Object]，Host侧的整型。值需要小于[object Object]的第二个维度[object Object]。
  • scale（double，计算输入）：表示缩放系数，公式中的[object Object]，Host侧的浮点型。
  • yOffset（int64_t，计算输入）：表示y更新时的偏移量，公式中的[object Object]，Host侧的整型。值需要小于[object Object]的第二个维度[object Object]。
  • ySliceSize（int64_t，计算输入）：表示y更新时的范围，公式中的[object Object]，Host侧的整型。值需要小于[object Object]的第二个维度[object Object]。
  • out（aclTensor*，计算输出）：输出张量，公式中的输出[object Object]，Device侧的aclTensor，数据类型支持FLOAT16。shape维度2维。支持ND，输出的数据类型与输入保持一致，输出shape和输入y的shape维度一致。支持。
  • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  [object Object]

aclnnAddLora

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnAddLoraGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。