接口功能:对hidden层的token之间进行带mask的因果一维分组卷积操作。
计算公式:
假设输入x和输出y的shape是[S, B, H],卷积权重weight的shape是[W, H],i和j分别表示S和B轴的索引,那么输出将被表示为:
其中,无效位置的padding为0填充;当前W仅支持3;H轴为elementwise操作,上述公式不体现。
每个算子分为,必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用[object Object]接口执行计算。
[object Object]
[object Object]
- 该接口与PyTorch配合使用时,需要保证CANN相关包与PyTorch相关包的版本匹配。
- 确定性计算:
- aclnnMaskedCausalConv1d默认确定性实现。
- 输入shape限制:
- B * S:取值范围为1~512K。
- H(hiddenSize):取值范围384~24576(64的整数倍)。
- W:W当前只支持3。
- 算子入参与中间计算结果,在对应运行数据类型(float16/bfloat16)下,数值均不会超出该类型值域范围。
- 算子输入不支持有±inf和nan的情况。
通过aclnn单算子调用示例代码如下,仅供参考,具体编译和执行过程请参考。
[object Object]