aclnnConvolution
产品支持情况
产品 | 是否支持 |
---|---|
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object] | √ |
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object] | √ |
[object Object]Atlas 200I/500 A2 推理产品[object Object] | √ |
[object Object]Atlas 推理系列产品 [object Object] | √ |
[object Object]Atlas 训练系列产品[object Object] | √ |
功能说明
算子功能:实现卷积功能,支持1D卷积,2D卷积,3D卷积,同时支持转置卷积、空洞卷积、分组卷积。 对于入参
transposed = True
时,表示使用转置卷积或者分数步长卷积。它可以看作是普通卷积的梯度或者逆向操作,即从卷积的输出形状恢复到输入形状,同时保持与卷积相容的连接模式。它的参数和普通卷积类似,包括输入通道数、输出通道数、卷积核大小、步长、填充、输出填充、分组、偏置、扩张等。计算公式:
我们假定输入(input)的shape是 ,(weight)的shape是 ,输出(output)的shape是 ,那输出将被表示为:
其中,表示互相关的计算,根据卷积输入的dim,卷积的类型(空洞卷积、分组卷积)而定。代表batch size,代表通道数,和分别代表宽和高,相应输出维度的计算公式如下:
函数原型
每个算子分为undefined,必须先调用“aclnnConvolutionGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnConvolution”接口执行计算。
aclnnStatus aclnnConvolutionGetWorkspaceSize( const aclTensor *input, const aclTensor *weight, const aclTensor *bias, const aclIntArray *stride, const aclIntArray *padding, const aclIntArray *dilation, bool transposed, const aclIntArray *outputPadding, const int64_t groups, aclTensor *output, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnConvolution(void* workspace, const uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)
aclnnConvolutionGetWorkspaceSize
参数说明:
- input(aclTensor *, 计算输入):表示卷积输入。公式中的
input
,支持undefined,undefined为NCL、NCHW、NCDHW。数据类型需要与weight满足数据类型推导规则(参见undefined和undefined)。- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16,conv1d、conv2d和conv3d transposed=true场景,各个维度的大小应该大于等于1。
- [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
- [object Object]Atlas 200I/500 A2 推理产品[object Object]:数据类型支持FLOAT、FLOAT16、BFLOAT16。
- weight(aclTensor *, 计算输入):表示卷积权重。公式中的
weight
,支持undefined,undefined为NCL、NCHW、NCDHW。数据类型需要与input满足数据类型推导规则(参见undefined和undefined)。- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型仅支持FLOAT、FLOAT16、BFLOAT16。conv2d和conv3d transposed=true场景,H、W的大小应该在[1,255]的范围内,其他维度的大小应该大于等于1。conv1d transposed=true场景,L的大小应该在[1,255]的范围内,其他维度的大小应该大于等于1。conv3d正向场景,H、W的大小应该在[1,511]的范围内。
- [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
- bias(aclTensor *, 计算输入):可选输入参数,表示卷积偏置,可以传入满足下述约束的aclTensor,或是使用nullptr占位表示该可选输入不存在。公式中的
bias
,支持undefined,undefined为NCL、NCHW、NCDHW、ND(当transposed=false情况下的conv1d、conv2d、conv3d卷积格式只支持一维且数值与weight第一维相等,当transposed=true情况下的conv1d、conv2d、conv3d卷积格式只支持一维且数值与[weight.shape[1] * groups]相等)。- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型仅支持BFLOAT16、FLOAT、FLOAT16。conv1d、conv2d、conv3d正向场景下会转成FLOAT参与计算。
- [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16(conv2d正向场景下会直接以FLOAT16格式与输入规格下不带bias的conv2d FLOAT16运算结果进行相加,得到最终带bias的conv2d结果)。
- [object Object]Atlas 训练系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
- stride(aclIntArray *, 计算输入):卷积扫描步长,数组长度需等于input的维度减2。其值应该大于0。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]、[object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]:conv3d transposed=true场景,strideD应该大于等于1,strideH、strideW应该在[1,63]的范围内。conv1d和conv2d transposed=true场景,各个值都应该大于等于1。conv3d正向场景,strideH和strideW应该在[1,63]的范围内。
- padding(aclIntArray *, 计算输入):对input的填充,对于conv1d非转置卷积的数组长度可以为1或者2;对于conv2d数组长度可以为2或者4;conv3d数组长度可以为3。其值应该大于等于0。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]、[object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]:conv3d transposed=true场景,paddingD应该大于等于0,paddingH、paddingW应该在[0,255]的范围内。conv1d和conv2d transposed=false场景,各个值都应该在[0,255]的范围内。conv3d正向场景,paddingH和paddingW应该在[0,255]的范围内。
- dilation(aclIntArray *, 计算输入):卷积核中元素的间隔,数组长度需等于input的维度减2。其值应该大于0。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]、[object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]:conv1d、conv2d和conv3d transposed=true场景,各个值都应该在[1,255]的范围内。conv3d正向场景,dilationH和dilationW应该在[1,255]的范围内。
- transposed(bool, 计算输入):是否为转置卷积。
- outputPadding(aclIntArray *, 计算输入):转置卷积情况下,对输出所有边的填充,数组长度需等于input的维度减2。其值应大于等于0,且小于stride或dilation对应维度的值。非转置卷积情况下,忽略该属性配置。
- groups(int64_t, 计算输入):表示从输入通道到输出通道的块链接个数,数值必须大于0,且满足groups*weight的C维度=input的C维度。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]:conv1d、conv2d和conv3d transposed=true场景,groups应该在[1,65535]的范围内。
- output(aclTensor *, 计算输出):公式中的
out
,undefined为NCL、NCHW、NCDHW。数据类型需要与input与weight推导之后的数据类型保持一致(参见undefined和undefined)。- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]:数据类型仅支持FLOAT、FLOAT16、BFLOAT16。
- [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT、FLOAT16。
- cubeMathType(int8_t, 计算输入):用于判断Cube单元应该使用哪种计算逻辑进行运算,数据类型为INT8,注意:如果输入的数据类型存在undefined,该参数默认对互推导后的数据类型进行处理。支持的枚举值如下:
- 0:KEEP_DTYPE,保持输入的数据类型进行计算。
- [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:当输入是FLOAT,暂不支持该选项。
- 1:ALLOW_FP32_DOWN_PRECISION,允许将输入数据降精度计算。
- [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:当输入是FLOAT,允许转换为FLOAT16计算。当输入为其他数据类型时不做处理。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]:当输入是FLOAT,允许转换为HFLOAT32计算。当输入为其他数据类型时不做处理。
- 2:USE_FP16,允许转换为数据类型FLOAT16进行计算。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]:当输入是BFLOAT16时不支持该选项。当输入为其他数据类型时不做处理。
- 3:USE_HF32,允许转换为数据类型HFLOAT32计算。
- [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:暂不支持该选项。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 200I/500 A2 推理产品[object Object]:当输入是FLOAT,转换为HFLOAT32计算。当输入为其他数据类型时不做处理。
- 0:KEEP_DTYPE,保持输入的数据类型进行计算。
- workspaceSize(uint64_t *, 出参):返回需要在Device侧申请的workspace大小。
- executor(aclOpExecutor **, 出参):返回op执行器,包含了算子计算流程。
- input(aclTensor *, 计算输入):表示卷积输入。公式中的
返回值:
aclnnStatus:返回状态码,具体参见undefined。
[object Object]
aclnnConvolution
参数说明:
- workspace(void*, 入参):在Device侧申请的workspace内存地址。
- workspaceSize(uint64_t, 入参):在Device侧申请的workspace大小,由第一段接口aclnnConvolutionGetWorkspaceSize获取。
- executor(aclOpExecutor*, 入参):op执行器,包含了算子计算流程。
- stream(aclrtStream, 入参):指定执行任务的Stream。
返回值:
aclnnStatus:返回状态码,具体参见undefined。
约束说明
- [object Object]Atlas 推理系列产品[object Object]:当前仅支持1D和2D卷积,暂不支持3D卷积。input, weight, bias中每一组tensor的每一维大小都应不大于1000000。
- [object Object]Atlas 训练系列产品[object Object]:支持1D和2D卷积,3D卷积仅支持transposed为false且输入数据类型为FLOAT16场景。input, weight, bias中每一组tensor的每一维大小都应不大于1000000。
- [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:input, weight, bias中每一组tensor的每一维大小都应不大于1000000。
- [object Object]Atlas 200I/500 A2 推理产品[object Object]:当前仅支持2D卷积,暂不支持1D、3D卷积。input, weight, bias中每一组tensor的每一维大小都应不大于1000000。
- 由于硬件资源限制,算子在部分参数取值组合场景下会执行失败,请根据日志信息提示分析并排查问题。若无法解决,请单击undefined获取技术支持。
调用示例
示例代码如下,仅供参考,具体编译和执行过程请参考undefined。
[object Object]