开发者
下载
[object Object]

[object Object][object Object]undefined
[object Object]
  • 接口功能:对hidden层的token之间进行一维分组卷积操作的反向梯度计算。

  • 计算公式:

    假定卷积输入x、卷积输出的梯度gradY和卷积输入的梯度gradX的shape是[S, B, H],weight的shape是[W, H],i和j分别表示S/B轴的索引,k为卷积窗口W内的索引,那么计算将被表示为:

    gradYMasked[i,j]=mask[j,i]gradY[i,j]gradYMasked[i,j] = mask[j,i] * gradY[i,j] gradX[i,j]=k=0W1gradYMasked[i+k,j]weight[W1k]gradX[i,j] = \sum_{k=0}^{W-1} gradYMasked[i+k,j] * weight[W-1-k] gradWeight[k]=j=0B1i=0S1gradYMasked[i+W1k,j]x[i,j]gradWeight[k] = \sum_{j=0}^{B-1}\sum_{i=0}^{S-1} gradYMasked[i+W-1-k,j] * x[i,j]

    其中,无效位置的padding为0填充;当前W仅支持3;H轴为elementwise操作,上述公式不体现。

[object Object]

每个算子分为,必须先调用“aclnnMaskedCausalConv1dBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMaskedCausalConv1dBackward”接口执行计算。

[object Object]
[object Object]
[object Object]
  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

    [object Object]
[object Object]
  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

[object Object]
  • 该接口与PyTorch配合使用时,需要保证CANN相关包与PyTorch相关包的版本匹配。
  • 确定性计算:
    • aclnnMaskedCausalConv1dBackward默认确定性实现。
  • 输入限制:
    • 输入输出的shape数据范围约束如下:
      • B(Batchsize):取值范围为1~32。
      • B * S(Batchsize * SeqLength):取值范围为1~512K。
      • H(hiddenSize):取值范围384~24576,且是64的整数倍。
      • W:W当前只支持3。
  • 算子入参与中间计算结果,在对应运行数据类型(float16/bfloat16)下,数值均不会超出该类型值域范围。
  • 算子输入不支持有±inf和nan的情况。
[object Object]

通过aclnn单算子调用示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]