aclnnEmbeddingDenseBackward

支持的产品型号

• Atlas 训练系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined，必须先调用“aclnnEmbeddingDenseBackwardGetWorkspaceSiz”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnEmbeddingDenseBackward”接口执行计算。

• aclnnStatus aclnnEmbeddingDenseBackwardGetWorkspaceSize(const aclTensor *grad, const aclTensor *indices, uint64_t numWeights, uint64_t paddingIdx, bool scaleGradByFreq, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnEmbeddingDenseBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

算子功能：实现undefined的反向计算, 将相同indice所对应的grad的一行累加到out上

aclnnEmbeddingDenseBackwardGetWorkspaceSize

• 参数说明：

  • grad(aclTensor*, 计算输入)：数据的原始梯度，Device侧的aclTensor，支持维度2-8维，除尾轴外合轴后shape与indices合轴后shape相同，支持undefined，undefined支持ND。
    • Atlas 训练系列产品：数据类型支持FLOAT16, FLOAT。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持BFLOAT16, FLOAT16, FLOAT。
  • indices(aclTensor*, 计算输入)：grad输入对应的索引值，Device侧的aclTensor, 支持维度1-8维, 支持undefined，undefined支持ND。
    • Atlas 训练系列产品、Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL。
  • numWeights(uint64_t, 计算输入)：输出tensor的首轴大小。
  • paddingIdx(uint64_t, 计算输入)：将输出tensor中第paddingIdx行填充成0，如果paddingIdx为负数则不进行处理。
  • scaleGradByFreq(bool, 计算输入)：根据单词出现的频率，对梯度进行放缩，若为true，则对结果按词频进行缩放，若为false，则不进行处理。
  • out(aclTensor*, 计算输出)：梯度求和的结果输出，Device侧的aclTensor，维度为2维，首轴大小为numWeights，尾轴大小与grad尾轴相同，数据类型与grad类型相同，undefined仅支持2D。
    • Atlas 训练系列产品：数据类型支持FLOAT16, FLOAT。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品：数据类型支持BFLOAT16, FLOAT16, FLOAT。
  • workspaceSize(uint64_t *, 出参): 返回用户需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor **, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnEmbeddingDenseBackward

• 参数说明：

  • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnEmbeddingDenseBackwardGetWorkspaceSize获取。
  • executor(aclOpExecutor *, 入参): op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参): 指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束与限制

• Atlas 训练系列产品
  • 对于scale为true的场景，设定grad最后一维为embeddingDim，其大小超出指定范围时会被拦截报错。其合理范围如下：
    • indices为int32时，需满足$$embeddingDim < \frac{180192 - countsSize * 4}{36}$$
    • indices为int64时，需满足$$embeddingDim < \frac{180192 - countsSize * 8}{20}$$
    • 其中，countsSize的公式如下，coreNum代表AI处理器核数：$$countsSize = numWeights / coreNum + numWeights \% coreNum$$
• Atlas A2训练系列产品/Atlas 800I A2推理产品
  • 在参数shape超过以下限制时，输出无法保证高精度，若开启了确定性计算，也无法保证高性能
    • grad的尾轴超过最大限制，尾轴最大限制14336
    • grad合轴成二维shape后，第一个维度超过INT32_MAX(2147483647)
    • numWeights超过INT32_MAX(2147483647)
  • indices合轴后维度超过INT32_INF(2139095040)时，无法保证高性能

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。