昇腾社区首页
中文
注册
开发者
下载

aclnnSparse4to2QuantMatmulWeightNz

产品支持情况

[object Object]undefined

功能说明

  • 算子功能:

    完成稀疏4:2量化的矩阵乘计算。

  • 计算公式:

    out=x@sparseWeightsparseWeightScalexScale+biasout = x@sparseWeight * sparseWeightScale * xScale + bias

函数原型

每个算子分为,必须先调用“aclnnSparse4to2QuantMatmulGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnSparse4to2QuantMatmul”接口执行计算。

[object Object]
[object Object]

aclnnSparse4to2QuantMatmulWeightNzGetWorkspaceSize

  • 参数说明:

    [object Object]
  • 返回值:

    aclnnStatus:返回状态码,具体参见。 第一段接口会完成入参校验,出现以下场景时报错:

    [object Object]

aclnnSparse4to2QuantMatmulWeightNz

  • 参数说明:

    [object Object]
  • 返回值:

    aclnnStatus:返回状态码,具体参见

约束说明

  1. x的最后一维即shape的描述中k的值不能超过65535。
  2. 当前只支持sparseWeightScale,xScale均不是nullptr的场景。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:

    [object Object]