开发者
资源
[object Object][object Object][object Object]undefined
[object Object]
  • 接口功能:完成张量self与张量mat2的矩阵乘计算,mat2仅支持NZ格式,只支持self为2维, mat2为4维。 相似接口有aclnnMatmul(mat2仅支持ND)、 aclnnMm(支持2维Tensor作为输入的矩阵乘)和aclnnBatchMatmul(仅支持3维的矩阵乘,其中第1维为batch)。
  • 计算公式:result=self@mat2result=self @ mat2
[object Object]

每个算子分为,必须先调用“aclnnMatmulWeightNzGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMatmulWeightNz”接口执行计算。

[object Object]
[object Object]
[object Object]
  • 参数说明

    [object Object]
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:
      • 调用此接口之前,必须使用aclnnTransMatmulWeight接口完成mat2的原始输入Format从ND到NZ格式的转换。
    • Atlas 350 加速卡:
      • 调用此接口之前,必须使用aclnnNpuFormatCast接口完成mat2的原始输入Format从ND到NZ格式的转换。
      • 不支持 cubeMathType为1:ALLOW_FP32_DOWN_PRECISION 的选项
      • 不支持 cubeMathType为3:USE_HF32 的选项
      • 不支持 cubeMathType为4:FORCE_GRP_ACC_FOR_FP32 的选项
  • 返回值

    aclnnStatus:返回状态码,具体参见

    第一段接口完成入参校验,出现如下场景时报错:

    [object Object]
[object Object]
  • 参数说明

    [object Object]
  • 返回值

    aclnnStatus:返回状态码,具体参见

[object Object]
  • 确定性说明:

    • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]、Atlas 350 加速卡:aclnnMatmulWeightNz默认确定性实现。
  • 计算一致性说明

    • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]:
      • 当开启强一致性计算功能时,计算结果时确定的,多次执行将产生相同的输出。此外,计算结果与数据的位置无关。
      • aclnnMatmulWeightNz默认非一致性实现,支持通过aclrtCtxSetSysParamOpt开启一致性。
      • 例如,在进行矩阵乘时,不同基本块的累加顺序可能不同,这可能会导致相同数据在不同行的计算结果出现细微差异。然而,在开启强一致性计算的情况下,即使在不同的行中,只要输入相同,计算结果也将相同。
  • 不支持两个输入分别为BFLOAT16和FLOAT16的数据类型推导。

  • self只支持2维, mat2只支持昇腾私有格式,调用此接口之前,必须完成mat2从ND到昇腾私有格式的转换。

  • 不支持mat2最后两根轴其中一根轴为1,即k=1或者n=1。

  • 建议使用场景:建议在mte2 bound场景下使用,例如M轴较小,A矩阵存在重复搬运,B矩阵无重复搬运的情况。

[object Object]
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]: self和mat2数据类型为float16,mat2为NZ格式场景下的示例代码如下,仅供参考,具体编译和执行过程请参考

    [object Object]
  • Atlas 350 加速卡: self和mat2数据类型为bfloat16,mat2为NZ格式场景下的示例代码如下,仅供参考,具体编译和执行过程请参考

    [object Object]