# TPOP ## 简介从 `TPipe` FIFO中弹出消费者tile，用于Cube-Vector通信。本指令支持显式指定 `TileSplitAxis`、显式指定subblock ID、参数反转且不指定 `Split` 的TileData重载，以及 `GlobalData` 重载。 ## 操作语义对于TileData流程： 1. `TPUSH(Pipe&, TileData&, Split)` 将生产者tile存入当前FIFO槽位，并为消费者记录数据就绪同步。生产者tile索引在槽位地址计算完成后递增。 2. `TPOP(Pipe&, TileData&, Split)` 等待生产者的数据就绪同步，将当前FIFO槽位加载到消费者tile中。消费者tile索引在槽位地址计算完成后递增。 3. `TFREE(Pipe&, Split)` 释放FIFO中的槽位空间。Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品平台上此接口为空操作（`TPOP` 已在内部执行空闲空间通知），Ascend 950PR/Ascend 950DT平台上会释放 `TPOP` 使用的FIFO槽位空间。对于GlobalData流程： 1. `TALLOC(Pipe&, GlobalData&)` 从 `TPipe` 中分配一个生产者FIFO槽位，并将其暴露为 `GlobalTensor` 视图。生产者可通过 `TSTORE` 等指令向该槽位写入数据。 2. `TPUSH(Pipe&, GlobalData&)` 为已经由 `TALLOC` 分配的槽位记录数据就绪同步，将FIFO槽位提交给消费者。它本身不会存储tile数据。 3. `TPOP(Pipe&, GlobalData&)` 等待数据就绪，将 `gmTensor` 赋值为当前FIFO槽位地址，并递增消费者tile索引。它不会将数据加载到本地tile，也不会释放槽位。消费者可通过 `TLOAD` 等指令从槽位中读取数据。 4. `TFREE(Pipe&, GlobalData&)` 释放由 `TPOP(Pipe&, GlobalData&)` 返回的FIFO槽位视图，通知生产者该槽位空间已空闲。 ## C++ Intrinsic 声明位置：`include/pto/common/pto_instr.hpp`： ```cpp template , int> = 0, typename... WaitEvents> PTO_INST RecordEvent TPOP(Pipe &pipe, TileCons &tile, WaitEvents &... events); template PTO_INST RecordEvent TPOP(Pipe &pipe, TileCons &tile, int32_t subBlockId, WaitEvents &... events); template PTO_INST RecordEvent TPOP(TileData &tile, Pipe &pipe, WaitEvents &... events); template , int> = 0, typename... WaitEvents> PTO_INST RecordEvent TPOP(Pipe &pipe, GlobalData &gmTensor, WaitEvents &... events); ``` `Pipe` 通常是所选后端 `TPush.hpp` 中声明的 `TPipe`，包括 `include/pto/cpu/TPush.hpp`、 `include/pto/npu/a2a3/TPush.hpp` 或 `include/pto/npu/a5/TPush.hpp`： ```cpp template struct TPipe; ``` ## 约束 - **TileData消费者**： - `TileCons::Loc` 必须是 `TileType::Vec`、`TileType::Mat` 或 `TileType::Ctrl`。 - `Direction::DIR_C2V`：vector消费cube生产的数据。 - `Direction::DIR_V2C`：cube消费vector生产的数据。 - `Direction::DIR_BOTH`：同一个pipe类型同时支持C2V和V2C消费者。 - **本地消费者缓冲区**： - 对于C2V vector消费者，`TPipe` 会将tile分配到 `C2V_CONSUMER_BUF`，并使用本地FIFO轮转。 - 对于V2C matrix消费者，`TPipe` 会将tile分配到 `V2C_CONSUMER_BUF`，并使用本地FIFO轮转。 - **切分行为**： - `TileSplitAxis::TILE_NO_SPLIT`：不进行切分，Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品上需要AIV0/AIV1陪跑核间同步操作。 - `TileSplitAxis::TILE_UP_DOWN`：消费上下两个行半区。 - `TileSplitAxis::TILE_LEFT_RIGHT`：消费左右两个列半区。 - **NPU同步**： - 每次 `TPOP` 都会执行数据就绪等待。 - 空闲空间通知是稀疏的，并由 `Pipe::SyncPeriod` 控制。 - **GlobalData槽位视图**： - `gmTensor` 会被赋值为由 `pipe.cons.tileIndex` 选择的FIFO槽位基地址。 - 对于C2V分裂模式，会根据 `Split` 应用向量子块偏移。 - 从槽位视图完成所有加载后，调用者必须调用 `TFREE(Pipe&, GlobalData&)`。 - **CPU\_SIM FIFO模型**： - `TPOP` 使用主机FIFO的互斥锁和条件变量等待生产者提交槽位。 - TileData 数据从主机 FIFO 状态拥有的存储加载；即使 `TPipe` 带有非空 NPU GM workspace，CPU\_SIM TileData 流程也不会访问该 workspace。 - 切分模式根据当前subblock上下文选择lane。对于启用 `IsNoSplit` 的C2V管道，`TILE_NO_SPLIT` 会根据运行时subblock数量协调一个或两个vector消费者subblock；在其他no-split vector场景中，非零的未参与lane会按需填零。 - CPU\_SIM 当前未实现显式传入 `int32_t subBlockId` 的重载；应通过模拟subblock执行上下文选择split lane。 - 对于 `DIR_BOTH`，消费者在自身方向的独立环形队列中等待。no-split 和 V2C 消费者按提交序号取出最早的已提交槽位，在延迟释放导致队列出现空隙时仍保持 FIFO 顺序。重叠的 pop 会预留不同槽位；`TFREE` 在相应方向释放调用方消费者最早尚未释放的 pop。 - 每次启用的 `TFREE` 都会在 CPU\_SIM 中释放一个已占用的具体槽位；CPU\_SIM 不模拟 NPU 的 `SyncPeriod` 通知节奏。 - TileData 数据按消费者 Tile 的声明形状读回，因此该形状必须与生产者推送的窗口一致（`TILE_NO_SPLIT` 下即其有效形状）。 - CPU\_SIM 按逻辑坐标将 TileData 复制到目标布局。A5 本地 FIFO 的 `TPOP` 则将 Tile 绑定到 FIFO 地址，不执行布局转换。要使 V2C 行为与 NPU 一致，应使用匹配的生产者和消费者布局，例如 NZ Vec 到 NZ Mat，并在 `TPUSH` 前完成所需的布局转换。 - CPU\_SIM 当前不支持 GlobalData 重载。 ## 示例 ### C2V Vector Pop ```cpp #include using namespace pto; template AICORE void example_c2v(__gm__ void *fifoMem) { constexpr uint32_t M = 128; constexpr uint32_t N = 128; constexpr uint32_t FlagID = 0; constexpr uint32_t FifoDepth = 2; constexpr uint32_t LocalBase = 0x0; using Pipe = TPipe; using VecTile = Tile; Pipe pipe(fifoMem, LocalBase, 0x0); // C2V 模式：第二参数为 C2V 消费者缓冲基址，第三参数为 V2C 消费者缓冲基址（此处为 0） VecTile tile; TPOP(pipe, tile); } ``` ### V2C Matrix Pop ```cpp #include using namespace pto; template AICORE void example_v2c(__gm__ void *fifoMem) { constexpr uint32_t M = 128; constexpr uint32_t N = 128; constexpr uint32_t FlagID = 0; constexpr uint32_t FifoDepth = 2; constexpr uint32_t LocalBase = 0x0; using Pipe = TPipe; using MatTile = Tile; Pipe pipe(fifoMem, 0x0, LocalBase); MatTile tile; TPOP(pipe, tile); } ``` ### GlobalData槽位弹出 ```cpp #include using namespace pto; template AICORE void example_globaldata(__gm__ void *fifoMem) { constexpr uint32_t M = 128; constexpr uint32_t N = 128; constexpr uint32_t FlagID = 0; constexpr uint32_t FifoDepth = 2; using Pipe = TPipe; using SlotGlobal = GlobalTensor, Stride<1, 1, 1, N, 1>>; using VecTile = Tile; Pipe pipe(fifoMem, 0x0, 0x0); SlotGlobal slot; VecTile tile; TASSIGN(tile, 0x0); TPOP(pipe, slot); TLOAD(tile, slot); TFREE(pipe, slot); } ```