等待IterateAll异步接口返回,支持连续输出到Global Memory。
1 | __aicore__ inline void WaitIterateAll() |
参数名 |
输入/输出 |
描述 |
---|---|---|
无 |
无 |
NA |
无
Atlas A2训练系列产品/Atlas 800I A2推理产品
matmul::Matmul<aType, bType, cType, biasType> mm; mm.SetTensorA(queryGm[tensorACoreOffset]); mm.SetTensorB(keyGm[tensorBCoreOffset + sInnerStart * singleProcessSInnerSize * tilingData->attentionScoreOffestStrideParams.matmulHead], true); mm.SetTail(singleProcessSOuterSize, mmNNum); mm.template IterateAll<false>(workspaceGm[tmp_block_idx * mmResUbSize * sInnerLoopTimes],0,true); // do some others compute mm.WaitIterateAll(); // 等待IterateAll完成 DataCopy(dstUB, GM); // 进行GM到UB的拷贝