开发者
下载
[object Object]

[object Object][object Object]undefined
[object Object]
  • 接口功能:对hidden层的token之间进行带mask的因果一维分组卷积操作。

  • 计算公式:

    假设输入x和输出y的shape是[S, B, H],卷积权重weight的shape是[W, H],i和j分别表示S和B轴的索引,那么输出将被表示为:

    out[i,j]=mask[j,i]k=0W1x[ik,j]weight[W1k]out[i,j] = mask[j,i] * \sum_{k=0}^{W-1} x[i-k,j] * weight[W-1-k]

    其中,无效位置的padding为0填充;当前W仅支持3;H轴为elementwise操作,上述公式不体现。

[object Object]

每个算子分为,必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用[object Object]接口执行计算。

[object Object]
[object Object]
[object Object]
  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

    [object Object]
[object Object]
  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

[object Object]
  • 该接口与PyTorch配合使用时,需要保证CANN相关包与PyTorch相关包的版本匹配。
  • 确定性计算:
    • aclnnMaskedCausalConv1d默认确定性实现。
  • 输入shape限制:
    • B * S:取值范围为1~512K。
    • H(hiddenSize):取值范围384~24576(64的整数倍)。
    • W:W当前只支持3。
  • 算子入参与中间计算结果,在对应运行数据类型(float16/bfloat16)下,数值均不会超出该类型值域范围。
  • 算子输入不支持有±inf和nan的情况。
[object Object]

通过aclnn单算子调用示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]