aclnnCalculateMatmulWeightSize

产品支持情况

功能说明

• 算子功能： 在Matmul算子ND格式输入下，计算需要申请的weight的大小，该接口仅仅用于判断对weight Tensor进行预处理需要使用多少size才可使Matmul算子执行性能最优。 例如输入【510， 510】：该函数出于性能角度考虑，会将shape变化为【512，512】，因此函数会将引用输入修改为262144。

• 计算公式：

  $$Float16/Bfloat16: result=\prod_{i \in(0, 3]}Align(tensorShape[i], 16)$$ $$INT8: result = Align(Shapesize[0], 16) * Align(Shapesize[1], 32)$$

函数原型

aclnnStatus aclnnCalculateMatmulWeightSize(const aclIntArray *tensorShape, uint64_t *weightTensorSize)

aclnnCalculateMatmulWeightSize

• 参数说明：

  • tensorShape(aclIntArray *, 计算输入)：用于表达该次Matmul载入权重矩阵的Shape，公式中的Shapesize，Host侧的aclIntArray，输入shape只支持2维（n，k），其中n表示第1维的大小，k表示第2维的大小，不支持空Array。
    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT16、BFLOAT16。
  • weightTensorSize(uint64_t *, 计算输出)：根据MatMul内部处理逻辑，计算该输入下weight需要多少个元素的数据量，公式中的result。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  [object Object]

约束说明

无

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。