GetTensorC

功能说明

Iterate后，获取一块C矩阵片，可以直接输出到GM tensor中，也可以输出到VECIN tensor中。

该接口和Iterate接口配合使用，用于在调用Iterate完成迭代计算后，获取一片baseM * baseN大小的矩阵分片。

迭代获取C矩阵分片的过程分为同步和异步两种模式：

• 同步：执行完一次Iterate后执行一次GetTensorC，需要同步等待C矩阵分片获取完成。
• 异步：调用Iterate后，无需立即调用GetTensorC同步等待，可以先执行其他逻辑，待需要获取结果时再调用GetTensorC。异步方式可以减少同步等待，提高并行度，开发者对计算性能要求较高时，可以选用该方式。

函数原型

• 获取C矩阵，输出至VECIN

  1 2	template <bool sync = true> __aicore__ inline void GetTensorC(const LocalTensor<DstT>& co2Local, uint8_t enAtomic = 0, bool enSequentialWrite = false)

  • 支持同步模式
  • 支持异步模式

• 获取C矩阵，输出至GM

  1 2	template <bool sync = true> __aicore__ inline void GetTensorC(const GlobalTensor<DstT>& gm, uint8_t enAtomic = 0, bool enSequentialWrite = false)

  • 支持同步模式
  • 支持异步模式

• 获取C矩阵，同时输出至GM和VECIN

  1 2	template <bool sync = true> __aicore__ inline void GetTensorC(const GlobalTensor<DstT> &gm, const LocalTensor<DstT> &co2Local, uint8_t enAtomic = 0, bool enSequentialWrite = false)

  • 支持同步模式
  • 支持异步模式
  • CUBE_ONLY（只有矩阵计算）模式暂不支持该接口
  • Atlas 200I/500 A2推理产品暂不支持同时输出至GM和VECIN
• 获取API接口返回的GM上的C矩阵，后续使用过程由开发者自行控制

  C矩阵输出到VECIN时， VECIN对应的物理位置Unified Buffer的大小会影响Matmul计算的力度，Unified Buffer的大小过小时，无法充分利用硬件算力。提供该接口支持返回API框架申请的GM上的C矩阵，由开发者自行控制后续使用过程。

  注意，在初始化时，C矩阵的逻辑位置应设置为TPosition::VECIN，调用该接口获取GM上的C矩阵后，自行拷贝到Unified Buffer。

  1 2	template <bool sync = true> __aicore__ inline GlobalTensor<DstT> GetTensorC(uint8_t enAtomic = 0, bool enSequentialWrite = false)

  • 支持异步模式

参数说明

图1 非连续写模式示意图

图2 连续写模式示意图

返回值

无

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas推理系列产品AI Core

Atlas 200I/500 A2推理产品

注意事项

• 传入的C矩阵地址空间大小需要保证不小于baseM * baseN。
• 异步场景时，需要使用一块临时空间来缓存Iterate计算结果，调用GetTensorC时会在该临时空间中获取C的矩阵分片。临时空间通过SetWorkspace接口进行设置。SetWorkspace接口需要在Iterate接口之前调用。

调用示例

• 获取C矩阵，输出至VECIN

  // 同步模式样例
  while (mm.Iterate()) {   
      mm.GetTensorC(ubCmatrix); 
  }
  
  // 异步模式样例
  mm.template Iterate<false>();
  …… ……
  for (int i = 0; i < singleM/baseM*singleN/baseN; ++i) {   
      mm.GetTensorC<false>(ubCmatrix); 
      ...other compute
  }

• 获取C矩阵，输出至GM，同步模式样例

  while (mm.Iterate()) {   
      mm.GetTensorC(gm); 
  }

• 获取C矩阵，同时输出至GM和VECIN，同步模式样例

  while (mm.Iterate()) {   
      mm.GetTensorC(gm, ubCmatrix); 
  }

• 获取API接口返回的GM上的C矩阵，手动拷贝至UB，异步模式样例

  // BaseM * BaseN = 128 *256
  mm.SetTensorA(gmA);
  mm.SetTensorB(gmB);
  mm.SetTail(singleM, singleN, singleK);
  mm.template Iterate<false>(); 
  …………
  for (int i = 0; i < singleM / baseM * singleN / baseN; ++i) {  
      // 获取每次计算的BaseM*BaseN的数据(128*256) 
      GlobalTensor<T> global = mm.template GetTensorC<false>();
      for(int j = 0; j < 4; ++j) {
          LocalTensor local = que.AllocTensor<half>(); //分配64*128大小的UB空间
          DataCopy(local, global[64 * 128 * i], 64 * 128); // 将GM的数据拷贝进UB中，进行后续的Vector操作
          ... Vector 操作
      }
  }