昇腾社区首页
中文
注册

aclnnCalculateMatmulWeightSize

支持的产品型号

  • Atlas 推理系列产品。
  • Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

aclnnStatus aclnnCalculateMatmulWeightSize(const aclIntArray *tensorShape, uint64_t *weightTensorSize)

功能描述

  • 算子功能: 在Matmul算子ND格式输入下,计算需要申请的weight的大小,仅支持Float16, BFloat16(仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持)数据类型,该接口仅仅用于判断对weight Tensor进行预处理需要使用多少size才可使Matmul算子执行性能最优。 例如: 输入【510, 510】 该函数出于性能角度考虑,会将shape变化为【512,512】 因此函数会将引用输入修改为262144

  • 计算公式

    result=i(0,3]Align(tensorShape[i],16)result=\prod_{i \in(0, 3]}Align(tensorShape[i], 16)

aclnnCalculateMatmulWeightSize

  • 参数说明:

    • tensorShape(const aclIntArray *, 计算输入):用于表达该次Matmul载入权重矩阵的Shape,输入shape只支持2维(n,k)。
    • weightTensorSize(uint64_t *, 计算输出):根据MatMul内部处理逻辑,计算该输入下weight需要多少个元素的数据量。
  • 返回值:

    aclnnStatus:返回状态码,具体参见undefined

    [object Object]

约束与限制

  • 不支持Atlas 训练系列产品调用此接口。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考undefined

[object Object]