aclnnCtcLoss

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	√
[object Object]Atlas 训练系列产品[object Object]	√

功能说明

• 算子功能：计算连接时序分类损失值。

• 计算表达式： 定义$y_{k}^{t}$表示在时刻$t$时真实字符为$k$的概率。(一般地，$y_{k}^{t}$是经过softmax之后的输出矩阵中的一个元素)。将字符集$L^{'}$可以构成的所有序列的集合称为$L^{'T}$，将$L^{'T}$中的任意一个序列称为路径，并标记为$π$。$π$的分布为公式(1)：

  $$p(π|x)=\prod_{t=1}^{T}y^{t}_{π_{t}} , \forall π \in L'^{T}. \tag{1}$$

  定义多对一(many to one)映射B: $L^{'T} \to L^{\leq T}$，通过映射B计算得到$l \in L^{\leq T}$的条件概率，等于对应于$l$的所有可能路径的概率之和，公式(2):

  $$p(l|x)=\sum_{π \in B^{-1}(l)}p(π|x).\tag{2}$$

  将找到使$p(l|x)$值最大的$l$的路径的任务称为解码，公式(3)：

  $$h(x)=^{arg \ max}_{l \in L^{ \leq T}} \ p(l|x).\tag{3}$$

  当zeroInfinity为True时

  $$h(x)=\begin{cases}0,&h(x) == inf \text{ or } h(x) == -inf \\h(x),&\text { else }\end{cases}$$

函数原型

每个算子分为undefined，必须先调用“aclnnCtcLossGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnCtcLoss”接口执行计算。

• aclnnStatus aclnnCtcLossGetWorkspaceSize(const aclTensor* logProbs, const aclTensor* targets, const aclIntArray* inputLengths, const aclIntArray* targetLengths, int64_t blank, bool zeroInfinity, aclTensor* negLogLikelihoodOut, aclTensor* logAlphaOut, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnCtcLoss(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

aclnnCtcLossGetWorkspaceSize

• 参数说明：

  • logProbs(aclTensor*, 计算输入): 表示输出的对数概率，公式中的y，Device侧的aclTensor。shape为($T, N, C$)或($T, C$)，$T$为输入长度，$N$为批处理大小，$C$为类别数，必须大于0，包括空白标识。支持undefined。undefined支持ND。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT16、FLOAT、BFLOAT16。
  • targets(aclTensor*, 计算输入): 表示包含目标序列的标签，公式中的π，Device侧的aclTensor。数据类型支持INT64、INT32、BOOL、FLOAT、FLOAT16。当shape为($N, S$)，$S$为不小于$targetLengths$中的最大值的值；或者shape为(SUM($targetLengths$))，假设$targets$是未填充的而且在1维内级联的。当logProbs为2维时，N=1。支持undefined。undefined支持ND。
  • inputLengths(aclIntArray*, 计算输入)：表示输入序列的实际长度，公式中的T为inputLengths中的元素，Host侧的aclIntArray。数组长度为$N$，数组中的每个值必须小于等于$T$。当logProbs为2维时，N=1。
  • targetLengths(aclIntArray*, 计算输入)：表示目标序列的实际长度，公式中的l的长度为targetLengths中的元素，Host侧的aclIntArray。数组长度为$N$，当targets的shape为($N, S$)时，数组中的每个值必须小于等于$S$。当logProbs为2维时，N=1。
  • blank(int64_t, 计算输入)：表示空白标识，Host侧的整型。数值必须小于$C$大于等于0。
  • zeroInfinity(bool, 计算输入)：表示是否将无限损耗和相关梯度归零，公式中的zeroInfinity，Host侧的bool类型。
  • negLogLikelihoodOut(aclTensor*, 计算输出): 表示输出的损失值，公式中的h，Device侧的aclTensor。数据类型必须和logProbs一致。当logProbs为3维时，negLogLikelihoodOut的shape为($N$)的Tensor，否则negLogLikelihoodOut为0维Tensor。支持undefined。undefined支持ND。
  • logAlphaOut(aclTensor*, 计算输出): 表示输入到目标的可能跟踪的概率，公式中的p(l|x)，Device侧的aclTensor。数据类型必须和logProbs一致，当logProbs为2维时，N=1。支持undefined。undefined支持ND。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：shape为($N, T, (2*max(targetLengths)+8)/8*8$)
  • workspaceSize(uint64_t*, 出参): 返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus: 返回状态码，具体参见undefined。

  [object Object]

aclnnCtcLoss

• 参数说明：

  • workspace(void*, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnCtcLossGetWorkspaceSize获取。
  • executor(aclOpExecutor*, 入参): op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参): 指定执行任务的Stream。

• 返回值：

  aclnnStatus: 返回状态码，具体参见undefined。

约束说明

• 值域限制说明：

  • targets的值域要求为$[0, C - 1]$且不包括blank对应的数值，其中$C$代表logProbs中的最后一维，即类别数。
  • input_lengths的值域要求为$[1, T]$，其中$T$代表logProbs中的第0维，代表输入长度。
  • target_lengths的值域要求为大于等于1。
  • target_lengths中的元素要求小于等于input_lengths中对应的元素。

  若不满足前三条值域约束，CPU/GPU可能存在越界行为，导致negLogLikelihoodOut和logAlphaOut的计算结果可能与CPU/GPU存在差异。若不满足第四条值域约束，logAlphaOut在对应batch上的计算结果与CPU/GPU存在差异。

调用示例