使用实现定义的临时Tile进行转置。
对于二维Tile,在有效转置域上:
确切的形状/布局及转置域取决于目标硬件(参见约束)。
同步形式:
[object Object]
编译器降级(Lowering)阶段可能引入内部临时Tile;C++内建接口需要显式传入 [object Object] 操作数。
[object Object]
[object Object]
声明于 [object Object]:
[object Object]
[object Object]
- 实现检查 (Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品):
[object Object]。- 源布局必须是行主序(
[object Object])。 - 元素大小必须是
[object Object]、[object Object]或[object Object]字节。 - 支持的元素类型按元素宽度限制如下:
- 4字节:
[object Object]、[object Object]、[object Object] - 2字节:
[object Object]、[object Object]、[object Object]、[object Object] - 1字节:
[object Object]、[object Object] - 转置大小取自
[object Object]/[object Object]。
- 实现检查 (Ascend 950PR/Ascend 950DT):
[object Object]。- 对输入和输出的主维度强制执行32字节对齐约束(行主序检查
[object Object],列主序检查[object Object])。 - 支持的元素类型按元素宽度限制如下:
- 4字节:
[object Object]、[object Object]、[object Object] - 2字节:
[object Object]、[object Object]、[object Object]、[object Object] - 1字节:
[object Object]、[object Object] - 转置大小取自
[object Object]/[object Object]。
- 临时Tile:
- C++ API需要
[object Object],需要的tmp空间大小计算公式如下: - 基础参数:
- RowStride: b8类型为32,b16/b32类型为16(对应Y_ELEM_B8和Y_ELEM_OTHER)
- ElemPerBlock: 32/sizeof(T),即每个32字节块的元素数量
- 其中b8为uint8_t/int8_t,b16为uint16_t/int16_t/half/bfloat16_t,b32为uint32_t/int32_t/float
- 对齐条件:
- 当stride满足对齐要求(dstStride % RowStride == 0, srcStride % ElemPerBlock == 0, srcStride/ElemPerBlock <= 255)时,使用tmp进行高效转置;否则使用scalar copy,不需要tmp。
- 二维Tile转置 [H, W] -> [W, H]: 其中W为列数(validCol),H为行数(validRow)。tmpStride需要对齐到RowStride。仅当stride满足对齐条件时需要tmp。
- NCHW <-> NC1HWC0双向转换:
- 正向 [N, C, H, W] -> [N, C1, H, W, C0]: 其中C1 = (C + C0 - 1) / C0,转置域为C0行、H*W列。
- 反向 [N, C1, H, W, C0] -> [N, C, H, W]: 转置域为H*W行、C0列。
- GNCHW <-> GNC1HWC0双向转换:
- 正向 [G, N, C, H, W] -> [G, N, C1, H, W, C0]: 其中C1 = (C + C0 - 1) / C0,转置域为C0行、H*W列。
- 反向 [G, N, C1, H, W, C0] -> [G, N, C, H, W]: 转置域为H*W行、C0列。
- NC1HWC0 -> FRACTAL_Z和GNC1HWC0 -> FRACTAL_Z:
- 这两种转换不需要tmp空间,直接执行内存重排操作。
- NCDHW到Fractal_Z_3D [N, C, D, H, W] -> [D, C1, H, W, N1, N0, C0]: 其中C1 = (C + C0 - 1) / C0,N1 = (N + N0 - 1) / N0。RowStride对于8-bit数据为32,对于16/32-bit数据为16。该转换分两阶段且有不同的执行路径:第一阶段提取NCDHW的d平面转为NCHW格式(需要NC1C0HW空间作为planePtr),第二阶段要么将结果写入secondPtr(需要NC1C0HW),要么使用secondPtr作为转置的tmp(需要HWceil(C0/RowStride)*RowStride)。由于路径在运行时选择,secondPtr需要两者的最大值。
- C++ API需要
- ConvTile:
- 支持在
[object Object]上的ConvTile的格式转换。其元素大小必须是[object Object]、[object Object]或[object Object]字节。元素类型限制为[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]。 - 支持ConvTile从
[object Object]到[object Object]的变换,其中[object Object],HW满足对齐要求,即[object Object]. C0对应[object Object], 即[object Object]。C0也可以为4。 - 支持ConvTile从
[object Object]到[object Object]的变换, 其中[object Object]。N0为16。 - 支持ConvTile从
[object Object]到[object Object]的变换,目标形状为[object Object],其中[object Object],[object Object]。[object Object]为16。[object Object]取决于元素宽度:4-bit数据为64,8-bit数据为32,16-bit数据为16,32-bit数据为8。临时Tile大小计算公式见上方临时Tile章节。
- 支持在
[object Object]
[object Object]
[object Object]
[object Object]
[object Object]