aclnnAddmv

支持的产品型号

• Atlas 推理系列产品。
• Atlas 训练系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined，必须先调用“aclnnAddmvGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnAddmv”接口执行计算。

• aclnnStatus aclnnAddmvGetWorkspaceSize(const aclTensor* self, const aclTensor* mat, const aclTensor* vec, const aclScalar* alpha, const aclScalar* beta, aclTensor* out, int8_t cubeMathType, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnAddmv(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

功能描述

• 算子功能：完成矩阵乘计算，然后和向量相加。
• 计算公式：

$$out = β self + α (mat @ vec)$$

aclnnAddmvGetWorkspaceSize

• 参数说明：

  • self(aclTensor*, 计算输入)：Device侧的aclTensor，需要和后续乘法结果相加的1维向量，数据类型支持FLOAT16、FLOAT、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，且数据类型需要与$mat@vec$构成互相推导关系（参见undefined），shape需要与 $mat1@vec$ 满足undefined。支持undefined，undefined支持ND。
  • mat(aclTensor*, 计算输入)：Device侧的aclTensor，和vec进行乘法运算的2维矩阵，数据类型支持FLOAT16、FLOAT、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互相推导关系（参见undefined），shape需要与 vec 满足乘法关系。支持undefined，undefined支持ND。
  • vec(aclTensor*, 计算输入)：Device侧的aclTensor，和mat进行乘法运算的1维向量，数据类型支持FLOAT16、FLOAT、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，数据类型需要与self构成互相推导关系（参见undefined），shape需要与 mat 满足乘法关系。支持undefined，undefined支持ND。
  • alpha(aclScalar*, 计算输入)：公式中的α，Host侧的aclScalar，mat和vec乘积的系数，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8，默认为1。
  • beta(aclScalar*, 计算输入)：公式中的β，Host侧的aclScalar，self的系数，数据类型支持FLOAT、FLOAT16、DOUBLE、INT8、INT16、INT32、INT64、UINT8，默认为1。
  • out(aclTensor*, 计算输出)：Device侧的aclTensor，指定的1维输出向量；数据类型支持FLOAT16、FLOAT、INT32、INT64、INT16、INT8、UINT8、DOUBLE、BOOL，且数据类型需要与self构成互相推导关系（参见undefined），shape与mat和vec的乘积相同，undefined支持ND。
  • cubeMathType(int8_t *，计算输入): Host侧的整型，判断Cube单元应该使用哪种计算逻辑进行运算，数据类型支持INT8，具体的枚举值如下：
    • 0:KEEP_DTYPE，保持输入的数据类型进行计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品暂不支持，取0时会报错。
    • 1:ALLOW_FP32_DOWN_PRECISION，允许将输入数据降精度计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品允许转换为FLOAT16计算，Atlas A2训练系列产品/Atlas 800I A2推理产品允许转换为HFLOAT32计算。
    • 2:USE_FP16，允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT，转换为FLOAT16计算。
    • 3:USE_HF32，允许转换为数据类型HFLOAT32计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品暂不支持，取3时会报错，Atlas A2训练系列产品/Atlas 800I A2推理产品转换为HFLOAT32计算。
  • workspaceSize(uint64_t*, 出参)：返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnAddmv

• 参数说明：

  • workspace(void *, 入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnAddmvGetWorkspaceSize获取。
  • executor(aclOpExecutor *, 入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参)：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束与限制

对于Atlas 训练系列产品和Atlas 推理系列产品，Cube单元不支持FLOAT32计算。当输入为FLOAT32，可通过设置cubeMathType=1（ALLOW_FP32_DOWN_PRECISION）来允许接口内部cast到FLOAT16进行计算。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。