开发者
下载
[object Object][object Object]

[object Object]

使用实现定义的临时Tile进行转置。

[object Object]

对于二维Tile,在有效转置域上:

dsti,j=srcj,i\mathrm{dst}_{i,j} = \mathrm{src}_{j,i}

确切的形状/布局及转置域取决于目标硬件(参见约束)。

[object Object]

同步形式:

[object Object]

编译器降级(Lowering)阶段可能引入内部临时Tile;C++内建接口需要显式传入 [object Object] 操作数。

[object Object]
[object Object]
[object Object]
[object Object]
[object Object]

声明于 [object Object]

[object Object]
[object Object]
[object Object]
  • 实现检查 (Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品):
    • [object Object]
    • 源布局必须是行主序([object Object])。
    • 元素大小必须是 [object Object][object Object][object Object]字节。
    • 支持的元素类型按元素宽度限制如下:
    • 4字节:[object Object][object Object][object Object]
    • 2字节:[object Object][object Object][object Object][object Object]
    • 1字节:[object Object][object Object]
    • 转置大小取自 [object Object] / [object Object]
  • 实现检查 (Ascend 950PR/Ascend 950DT):
    • [object Object]
    • 对输入和输出的主维度强制执行32字节对齐约束(行主序检查 [object Object],列主序检查 [object Object])。
    • 支持的元素类型按元素宽度限制如下:
    • 4字节:[object Object][object Object][object Object]
    • 2字节:[object Object][object Object][object Object][object Object]
    • 1字节:[object Object][object Object]
    • 转置大小取自 [object Object] / [object Object]
  • 临时Tile:
    • C++ API需要 [object Object],需要的tmp空间大小计算公式如下:
    • 基础参数:
      • RowStride: b8类型为32,b16/b32类型为16(对应Y_ELEM_B8和Y_ELEM_OTHER)
      • ElemPerBlock: 32/sizeof(T),即每个32字节块的元素数量
      • 其中b8为uint8_t/int8_t,b16为uint16_t/int16_t/half/bfloat16_t,b32为uint32_t/int32_t/float
    • 对齐条件:
      • 当stride满足对齐要求(dstStride % RowStride == 0, srcStride % ElemPerBlock == 0, srcStride/ElemPerBlock <= 255)时,使用tmp进行高效转置;否则使用scalar copy,不需要tmp。
    • 二维Tile转置 [H, W] -> [W, H]: tmpSize=W×HRowStride×RowStride×sizeof(DType)\text{tmpSize} = W \times \lceil\frac{H}{\text{RowStride}}\rceil \times \text{RowStride} \times \text{sizeof(DType)} 其中W为列数(validCol),H为行数(validRow)。tmpStride需要对齐到RowStride。仅当stride满足对齐条件时需要tmp。
    • NCHW <-> NC1HWC0双向转换:
      • 正向 [N, C, H, W] -> [N, C1, H, W, C0]: tmpSize=H×W×C0RowStride×RowStride×sizeof(DType)\text{tmpSize} = H \times W \times \lceil\frac{C0}{\text{RowStride}}\rceil \times \text{RowStride} \times \text{sizeof(DType)} 其中C1 = (C + C0 - 1) / C0,转置域为C0行、H*W列。
      • 反向 [N, C1, H, W, C0] -> [N, C, H, W]: tmpSize=C0×H×WRowStride×RowStride×sizeof(DType)\text{tmpSize} = C0 \times \lceil\frac{H \times W}{\text{RowStride}}\rceil \times \text{RowStride} \times \text{sizeof(DType)} 转置域为H*W行、C0列。
    • GNCHW <-> GNC1HWC0双向转换:
      • 正向 [G, N, C, H, W] -> [G, N, C1, H, W, C0]: tmpSize=H×W×C0RowStride×RowStride×sizeof(DType)\text{tmpSize} = H \times W \times \lceil\frac{C0}{\text{RowStride}}\rceil \times \text{RowStride} \times \text{sizeof(DType)} 其中C1 = (C + C0 - 1) / C0,转置域为C0行、H*W列。
      • 反向 [G, N, C1, H, W, C0] -> [G, N, C, H, W]: tmpSize=C0×H×WRowStride×RowStride×sizeof(DType)\text{tmpSize} = C0 \times \lceil\frac{H \times W}{\text{RowStride}}\rceil \times \text{RowStride} \times \text{sizeof(DType)} 转置域为H*W行、C0列。
    • NC1HWC0 -> FRACTAL_Z和GNC1HWC0 -> FRACTAL_Z:
      • 这两种转换不需要tmp空间,直接执行内存重排操作。
    • NCDHW到Fractal_Z_3D [N, C, D, H, W] -> [D, C1, H, W, N1, N0, C0]: tmpSize=(N×C1×C0×H×W+max(N×C1×C0×H×W,H×W×C0RowStride×RowStride))×sizeof(DType)\text{tmpSize} = (N \times C1 \times C0 \times H \times W + \max(N \times C1 \times C0 \times H \times W, H \times W \times \lceil\frac{C0}{\text{RowStride}}\rceil \times \text{RowStride})) \times \text{sizeof(DType)} 其中C1 = (C + C0 - 1) / C0,N1 = (N + N0 - 1) / N0。RowStride对于8-bit数据为32,对于16/32-bit数据为16。该转换分两阶段且有不同的执行路径:第一阶段提取NCDHW的d平面转为NCHW格式(需要NC1C0HW空间作为planePtr),第二阶段要么将结果写入secondPtr(需要NC1C0HW),要么使用secondPtr作为转置的tmp(需要HWceil(C0/RowStride)*RowStride)。由于路径在运行时选择,secondPtr需要两者的最大值。
  • ConvTile:
    • 支持在[object Object]上的ConvTile的格式转换。其元素大小必须是 [object Object][object Object][object Object]字节。元素类型限制为[object Object][object Object][object Object][object Object][object Object][object Object][object Object][object Object][object Object]
    • 支持ConvTile从[object Object][object Object]的变换,其中[object Object],HW满足对齐要求,即[object Object]. C0对应[object Object], 即[object Object]。C0也可以为4。
    • 支持ConvTile从[object Object][object Object]的变换, 其中[object Object]。N0为16。
    • 支持ConvTile从[object Object][object Object]的变换,目标形状为[object Object],其中[object Object][object Object][object Object]为16。[object Object]取决于元素宽度:4-bit数据为64,8-bit数据为32,16-bit数据为16,32-bit数据为8。临时Tile大小计算公式见上方临时Tile章节。
[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object]
[object Object]