aclnnCalculateMatmulWeightSizeV2

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	√
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能： 在Matmul算子ND格式输入下，计算如果要转换到NZ格式下需要占用的空间大小（单位为元素个数），该接口仅仅用于判断对weight Tensor预处理需要使用多少size才可使Matmul算子执行性能最优。 例如：

  • 输入【510， 510】Float16/Bfloat16：该函数出于性能角度考虑，会将shape变化为【512，512】

因此函数会将引用输入修改为262144

• 输入【510， 270】INT8：该函数出于性能角度考虑，会将shape变化为【512，288】 因此函数会将引用输入修改为147456

• 计算公式：

  $$Float16/Bfloat16: result = Align(Shapesize[0], 16) * Align(Shapesize[1], 16)$$ $$INT8： result = Align(Shapesize[0], 16) * Align(Shapesize[1], 32)$$

函数原型

aclnnStatus aclnnCalculateMatmulWeightSizeV2(const aclIntArray *tensorShape, aclDataType dataType, uint64_t *weightTensorSize)

aclnnCalculateMatmulWeightSizeV2

• 参数说明：

  • tensorShape(aclIntArray *, 计算输入)：用于表达该次Matmul载入权重矩阵的Shape，公式中的Shapesize，Host侧的aclIntArray，输入shape支持2-6维，即（batch，n，k），其中batch表示权重矩阵的批次大小，支持0-4维，n表示单个batch权重矩阵第1维的大小，k表示单个batch权重矩阵第2维的大小，不支持空Array。
  • weightDtype(aclDataType, 计算输入)：weight的Dtype，支持FLOAT16、BFLOAT16、INT8。
  • weightTensorSize(uint64_t *, 计算输出)：转换为NZ格式所占用的空间大小（单位为元素个数），公式中的result。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

约束说明

无

调用示例

[object Object]Atlas 推理系列产品[object Object]：tensorShape为2维的场景示例代码如下，仅供参考，具体编译和执行过程请参考undefined。

• tensorShape为多维（3-6维）的场景示例代码请参考undefined。
• 伪量化有aclnnWeightQuantBatchMatmulV2和aclnnWeightQuantBatchMatmulV3接口， 这里以aclnnWeightQuantBatchMatmulV2为例