aclnnEmbeddingDenseBackward

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	√

功能说明

算子功能：实现undefined的反向计算, 将相同索引indices对应grad的一行累加到out上。

函数原型

每个算子分为undefined，必须先调用“aclnnEmbeddingDenseBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnEmbeddingDenseBackward”接口执行计算。

• aclnnStatus aclnnEmbeddingDenseBackwardGetWorkspaceSize(const aclTensor *grad, const aclTensor *indices, uint64_t numWeights, uint64_t paddingIdx, bool scaleGradByFreq, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnEmbeddingDenseBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

aclnnEmbeddingDenseBackwardGetWorkspaceSize

• 参数说明：

  • grad(aclTensor*, 计算输入)：数据的原始梯度，Device侧的aclTensor，支持维度2-8维，除尾轴外合轴后shape与indices合轴后shape相同，支持undefined，undefined支持ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT16、FLOAT。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持BFLOAT16、FLOAT16、FLOAT。
  • indices(aclTensor*, 计算输入)：grad输入对应的索引值，Device侧的aclTensor，取值范围为[0, numWeights)，支持维度1-8维, 支持undefined，undefined支持ND。数据类型支持FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL。
  • numWeights(uint64_t, 计算输入)：输出tensor的首轴大小。
  • paddingIdx(uint64_t, 计算输入)：将输出tensor中第paddingIdx行填充成0，如果paddingIdx为负数则不进行处理。
  • scaleGradByFreq(bool, 计算输入)：根据单词出现的频率，是否对梯度进行缩放。若为true，对结果按词频进行缩放，若为false，不进行处理。
  • out(aclTensor*, 计算输出)：梯度求和的结果输出，Device侧的aclTensor，维度为2维，首轴大小为numWeights，尾轴大小与grad尾轴相同，数据类型与grad类型相同，undefined仅支持ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT16、FLOAT。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持BFLOAT16、FLOAT16、FLOAT。
  • workspaceSize(uint64_t *, 出参): 返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor **, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnEmbeddingDenseBackward

• 参数说明：

  • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnEmbeddingDenseBackwardGetWorkspaceSize获取。
  • executor(aclOpExecutor *, 入参): op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参): 指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

• [object Object]Atlas 训练系列产品[object Object]：
  • 对于scale为true的场景，设定grad最后一维为embeddingDim，其大小超出指定范围时会被拦截报错。其合理范围如下：
    • indices为int32时，需满足$$embeddingDim < \frac{180192 - countsSize * 4}{36}$$
    • indices为int64时，需满足$$embeddingDim < \frac{180192 - countsSize * 8}{20}$$
    • 其中，countsSize的公式如下，coreNum代表AI处理器核数：$$countsSize = numWeights / coreNum + numWeights \% coreNum$$
• [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
  • 在参数shape超过以下限制时，输出无法保证高精度，若开启了确定性计算，也无法保证高性能
    • grad合轴成二维shape后，第一个维度超过INT32_MAX(2147483647)
    • numWeights超过INT32_MAX(2147483647)
  • indices合轴后维度超过INT32_INF(2139095040)时，无法保证高性能

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。