aclnnAddmm&aclnnInplaceAddmm
支持的产品型号
- Atlas 推理系列产品。
- Atlas 训练系列产品。
- Atlas A2训练系列产品。
接口原型
aclnnAddmm和aclnnInplaceAddmm实现相同的功能,使用区别如下,请根据自身实际场景选择合适的算子。
- aclnnAddmm:需新建一个输出张量对象存储计算结果。
- aclnnInplaceAddmm:无需新建输出张量对象,直接在输入张量的内存中存储计算结果。
每个算子分为,必须先调用 “aclnnAddmmGetWorkspaceSize” 或者 “aclnnInplaceAddmmGetWorkspaceSize” 接口获取入参并根据计算流程计算所需workspace大小,再调用 “aclnnAddmm” 或者 “aclnnInplaceAddmm” 接口执行计算。
aclnnStatus aclnnAddmmGetWorkspaceSize(const aclTensor *self, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, aclTensor *out, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnAddmm(void *workspace, uint64_t workspaceSize, const aclrtStream stream, aclOpExecutor **executor)
aclnnStatus aclnnInplaceAddmmGetWorkspaceSize(const aclTensor *selfRef, const aclTensor *mat1, const aclTensor *mat2, const aclScalar *beta, const aclScalar *alpha, int8_t cubeMathType, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnInplaceAddmm(void *workspace, uint64_t workspaceSize, const aclrtStream stream, aclOpExecutor **executor)
功能描述
- 算子功能:计算α 乘以mat1与mat2的乘积,再与β和self的乘积求和。
- 计算公式:
aclnnAddmmGetWorkspaceSize
参数说明:
- self:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持
),且数据类型需要与构成互相推导关系,shape需要与 满足broadcast关系。支持,支持ND。
- mat1:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self,mat2构成互相推导关系,shape需要满足与mat2相乘条件。支持,支持ND。
- mat2:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self,mat1构成互相推导关系,shape需要满足与mat1相乘条件。支持,支持ND。
- beta:Host侧的aclScalar,默认为1。
- alpha:Host侧的aclScalar,默认为1。
- out:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与self构成互相推导关系,shape需要与self以及 一致,支持ND。
- cubeMathType(int8_t *,计算输入): Host侧的整型,判断Cube单元应该使用那种计算逻辑进行运算,数据类型支持INT8,具体的枚举值如下:
- 0:KEEP_DTYPE,保持输入的数据类型进行计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取0时会报错。
- 1:ALLOW_FP32_DOWN_PRECISION,允许将输入数据降精度计算。当输入是FLOAT,Atlas 训练系列产品转换为FLOAT16计算,Atlas A2训练系列产品转换为HFLOAT32计算。
- 2:USE_FP16,允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT,转换为FLOAT16计算。
- 3:USE_HF32,允许转换为数据类型HFLOAT32计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取3时会报错,Atlas A2训练系列产品转换为HFLOAT32计算。
- workspaceSize:返回用户需要在Device侧申请的workspace大小。
- executor:返回op执行器,包含了算子计算流程。
[object Object]
aclnnAddmm
参数说明:
- workspace:在Device侧申请的workspace内存地址。
- workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnAddGetWorkspaceSize获取。
- stream:指定执行任务的 AscendCL Stream流。
- executor:op执行器,包含了算子计算流程。
返回值:
aclnnInplaceAddmmGetWorkspaceSize
参数说明:
- selfRef:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持
),且数据类型需要与构成互相推导关系,shape需要与 满足broadcast关系。支持,支持ND。
- mat1:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与selfRef,mat2构成互相推导关系,shape需要满足与mat2相乘条件。支持,支持ND。
- mat2:Device侧的aclTensor,数据类型支持FLOAT16、FLOAT、BFLOAT16(仅Atlas A2训练系列产品支持 ),且数据类型需要与selfRef,mat1构成互相推导关系,shape需要满足与mat1相乘条件。支持,支持ND。
- beta:Host侧的aclScalar,默认为1。
- alpha:Host侧的aclScalar,默认为1。
- cubeMathType(int8_t *,计算输入): Host侧的整型,判断Cube单元应该使用那种计算逻辑进行运算,数据类型支持INT8,具体的枚举值如下:
- 0:KEEP_DTYPE,保持输入的数据类型进行计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取0时会报错。
- 1:ALLOW_FP32_DOWN_PRECISION,允许将输入数据降精度计算。当输入是FLOAT,Atlas 训练系列产品转换为FLOAT16计算,Atlas A2训练系列产品转换为HFLOAT32计算。
- 2:USE_FP16,允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT,转换为FLOAT16计算。
- 3:USE_HF32,允许转换为数据类型HFLOAT32计算。当输入是FLOAT,Atlas 训练系列产品Cube计算单元暂不支持,取3时会报错,Atlas A2训练系列产品转换为HFLOAT32计算。
- workspaceSize:返回用户需要在Device侧申请的workspace大小。
- executor:返回op执行器,包含了算子计算流程。
[object Object]
aclnnInplaceAddmm
参数说明:
- workspace:在Device侧申请的workspace内存地址。
- workspaceSize:在Device侧申请的workspace大小,由第一段接口aclnnInplaceAddmmGetWorkspaceSize获取。
- stream:指定执行任务的 AscendCL Stream流。
- executor:op执行器,包含了算子计算流程。
返回值:
约束与限制
对于Atlas 训练系列产品,Cube单元不支持FLOAT32计算。当输入为FLOAT32,可通过设置cubeMathType=1(ALLOW_FP32_DOWN_PRECISION)来允许接口内部cast到FLOAT16进行计算。
调用示例
[object Object]