开发者
资源
[object Object][object Object]

单次矩阵乘局部输出,又称Partial Output。如中所述,一次Iterate计算过程中,会按K方向进行一次或多次基本块计算,其中的一次基本块计算为baseM*baseK和baseK*baseN大小的输入数据进行计算得到baseM*baseN大小的结果;每次基本块计算的结果进行累加后,便得到baseM*singleCoreK和singleCoreK*baseN大小的输入数据计算得到的结果baseM*baseN,并将其作为一次Iterate的最终结果输出。

开启Partial Output功能后,调用Iterate接口不会进行K轴累加,只进行单次基本块计算。用户可以通过GetTensorC接口获取对应的单片数据,最后自行进行K轴上的累加。

图 1 未开启Partial Output功能计算示意图[object Object][object Object]

图 2 开启Partial Output功能计算示意图[object Object][object Object]

[object Object]

矩阵乘计算结果不需要累加,只需要输出baseM*baseK和baseK*baseN的计算结果baseM*baseN。例如需要先获取单次基本块计算的数据进行反量化,再累加得到最终结果。

[object Object]
  • 该功能仅支持
  • 获取矩阵乘计算结果时,仅支持调用Iterate和GetTensorC接口的连续写模式,不支持非连续写模式以及IterateAll接口获取计算结果,连续写模式的介绍请参考
  • 该功能不支持带有Bias矩阵的Matmul计算,即不支持输入Bias矩阵。
[object Object]

完整的算子样例请参考

[object Object]