开发者
下载
[object Object][object Object]

[object Object]

将高精度Tile([object Object] / [object Object] / [object Object])量化为低精度格式,同时生成量化的数据Tile以及辅助的每组指数 / 最大值 / 缩放Tile。目标格式、缩放算法和分组轴均为编译期模板参数。

[object Object]undefined
[object Object][object Object]

对于Tile xRM×Nx \in \mathbb{R}^{M \times N},沿 [object Object] 分组(ND:axis-1/列;DN:axis-0/行):

[object Object]undefined
  • emaxe_{\max} = 目标格式最大指数(e4m3为8,e2m1为1)。
  • VmaxV_{\max} = 目标格式MAX_NORM(e4m3为448,e2m1为6)。
  • 阶段1–2使用精确的IEEE-754位操作(无FP [object Object]/[object Object]);阶段3使用硬件类型转换 + 随机舍入([object Object])。
  • ND("normal direction",[object Object]):每32个连续为一组——默认/标准分组方式。DN[object Object]):每32个连续为一组——转置式axis-0分组;指数Tile形状 [object Object][object Object]
[object Object]

qi=round ⁣(xiscale)+offset,qi[128,127]q_i = \mathrm{round}\!\left(\frac{x_i}{\mathrm{scale}}\right) + \mathrm{offset}, \qquad q_i \in [-128, 127]

无分组结构;[object Object](和非对称 [object Object])为每Tile的FP32标量/向量。为避免二次舍入,Atlas A2/A3 训练系列产品/Atlas A2/A3 推理系列产品上的类型转换链为 [object Object](5阶段,通过 [object Object] Tile);Ascend 950PR/Ascend 950DT使用原生广播 + 类型转换(无需 [object Object])。输入必须为 FP32

[object Object]

声明于 [object Object]

[object Object]
[object Object]
[object Object]
[object Object]undefined
[object Object]
[object Object]
[object Object]undefined
[object Object]
[object Object]
[object Object]undefined
[object Object]
[object Object]

对于输入Tile形状 M×NM \times N(dtype T{FP32,BF16,FP16}T \in \{\mathrm{FP32}, \mathrm{BF16}, \mathrm{FP16}\}),组大小 G=32G = 32

[object Object][object Object]undefined
[object Object]

同MXFP8,但:

[object Object]undefined
[object Object]
[object Object][object Object]undefined
[object Object]
[object Object][object Object]undefined
[object Object]

TQUANT默认输出 ND(行主序)。Cube Unit消费两种fractal布局,由独立的 [object Object] 指令生成:

[object Object]undefined

DN数据的FP8 mantissa与ND共享相同的物理地址([object Object] 元素完全相同),因此2参数 [object Object] ND→NZ对DN数据同样适用。仅指数路径不同(DN→ZZ通过 [object Object])。详见 [object Object]

[object Object][object Object]undefined
[object Object]

除另有说明外,语义在有效区域内定义,目标相关行为标记为实现定义。

[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object]
[object Object]
[object Object]
[object Object]

详见 [object Object](DN→ZZ转换)和 [object Object](完整ST示例)。