开发者
下载
[object Object][object Object][object Object]

[object Object]

[object Object]

将两个源Tile([object Object][object Object])沿列维度水平拼接到目标Tile([object Object])中。[object Object] 的每一行包含来自 [object Object][object Object] 对应行的拼接结果。

[object Object] 用于:

  • 沿列轴拼接两个Tile(水平拼接)
  • 在attention和transformer架构中拼接Tile(例如拼接KV cache条目)
  • 合并来自拆分操作的局部结果
[object Object]

对于有效区域中的每一行 [object Object]

dsti,j={src0i,j若 0j<validCols0src1i,jvalidCols0若 validCols0j<validCols0+validCols1\mathrm{dst}_{i, j} = \begin{cases} \mathrm{src0}_{i, j} & \text{若 } 0 \le j < \mathrm{validCols0} \\ \mathrm{src1}_{i, j - \mathrm{validCols0}} & \text{若 } \mathrm{validCols0} \le j < \mathrm{validCols0} + \mathrm{validCols1} \end{cases}

其中 [object Object][object Object]

[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object]

声明于 [object Object]

[object Object]
[object Object]
[object Object][object Object]
  • [object Object] 有三种重载变体:
    • 基本形式:[object Object] - 拼接完整有效区域
    • 索引形式(5参数):[object Object] - 使用每行索引Tile指定动态列数
    • 索引形式(6参数):[object Object] - 同时输出每行的拼接列数
  • 所有Tile必须为 [object Object](向量Tile)
  • 所有Tile必须使用行主序布局([object Object]
[object Object]
  • 基本形式:
    • [object Object]
    • Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品:[object Object](总列数不得超过dst物理容量)
    • Ascend 950PR/Ascend 950DT:[object Object](总列数必须等于dst有效列数)
  • 索引形式:
    • 行数约束与基本形式相同
    • 列数由索引Tile动态确定
    • 6参数形式要求 [object Object][object Object] 为单行聚合Tile,汇总每行的拼接列数)
[object Object]
  • 支持的元素类型:[object Object][object Object][object Object][object Object][object Object][object Object][object Object][object Object][object Object]
  • 源Tile和目标Tile必须具有相同的元素类型
  • 索引Tile必须使用整数类型([object Object][object Object][object Object][object Object][object Object][object Object]
[object Object]
  • 所有Tile必须为 [object Object]
  • 所有Tile必须为行主序布局
  • [object Object] 不能超过任何操作数的物理Tile行数
  • 索引Tile(如果提供)必须满足类型兼容性检查
[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object]
[object Object]
[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object]
  • - 在指定偏移处将子Tile插入到目标Tile中
  • - 从源Tile中提取子Tile
  • - 将Tile重新解释为另一种Tile类型/形状