Developers
Download
[object Object][object Object]

将低精度量化Tile([object Object] / [object Object])反量化为高精度 [object Object] Tile。对每个元素执行仿射反量化(affine dequantization),即 [object Object] 整数量化(INT8对称 / 非对称)的逆运算:

dsti,j=(srci,joffseti)scalei\mathrm{dst}_{i,j} = (\mathrm{src}_{i,j} - \mathrm{offset}_{i}) \cdot \mathrm{scale}_{i}

[object Object][object Object]每行一组的FP32参数(在列方向广播到整行),因此可在一条指令内完成"去偏移 + 反缩放"的完整反量化。

[object Object]

概念上,对于有效区域中的每个元素 [object Object]

dsti,j=(srci,joffseti)scalei\mathrm{dst}_{i,j} = \bigl(\mathrm{src}_{i,j} - \mathrm{offset}_{i}\bigr) \cdot \mathrm{scale}_{i}

  • [object Object]:量化后的整数码([object Object][object Object])。
  • [object Object][object Object]:每行的FP32反量化参数(按行索引 [object Object] 选取参数组,沿列方向广播到整行);[object Object] 的有效列数 [object Object],参数列下标 [object Object] 仅用于在参数Tile多列时钳位读取列下标(典型用法每行1个标量,[object Object]),参数组本身由行 [object Object] 决定。
  • [object Object] 整数仿射量化互逆:[object Object]q=round(x/scale)+offsetq = \mathrm{round}(x / \mathrm{scale}) + \mathrm{offset},故 x=(qoffset)scalex = (q - \mathrm{offset}) \cdot \mathrm{scale}
[object Object]
[object Object]

声明于 [object Object]

[object Object]
[object Object]
[object Object]undefined

[object Object][object Object] 必须为同一类型([object Object]),且其dtype与 [object Object] 一致(均为 [object Object])。

[object Object]

对于源/目的Tile有效形状 M×NM \times N

[object Object]undefined
[object Object]
[object Object][object Object]undefined
[object Object]
[object Object]

TDEQUANT在向量流水线([object Object])上执行,无需 [object Object] scratch Tile(与 [object Object] 在Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品上的5阶段类型转换链不同):

  1. 加载并解包 [object Object][object Object][object Object][object Object][object Object] 解包,再 [object Object] 转为FP32(kirinX90上 [object Object][object Object] + 交错路径)。
  2. 广播加载参数[object Object][object Object][object Object] 以32字节块广播到整行。
  3. 计算[object Object][object Object],即先去偏移、再反缩放。
[object Object]

TDEQUANT属于TEPL(Tile Elementwise Pipeline)复合变换类指令:

[object Object]
[object Object]undefined
[object Object][object Object]undefined
[object Object]
[object Object]

完整ST示例见 [object Object](A5)、[object Object](A2/A3)及 [object Object](CPU参考实现)。