开发者
下载
[object Object][object Object]
  • [object Object]Ascend 950PR/Ascend 950DT[object Object]:支持
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:支持
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:支持
  • [object Object]Atlas 200I/500 A2 推理产品[object Object]:不支持
  • [object Object]Atlas 推理系列产品[object Object]:不支持
  • [object Object]Atlas 训练系列产品[object Object]:不支持
[object Object]

[object Object]是基于[object Object][object Object]扩展接口。该接口根据[object Object]将输入[object Object]扩展,并按照专家索引排序,返回排序后的token及其与原始token的映射关系。

在Ascend 950平台上,接口还支持在permute过程中将输出量化为MXFP8或MXFP4,并返回对应的per-token分块scale。非Ascend 950平台忽略量化模式,按非量化路径执行。

[object Object]
[object Object]
[object Object][object Object]undefined
[object Object]

接口返回三个Tensor:

[object Object]

定义:

[object Object]

各量化模式的输出如下:

[object Object]undefined

其中:

[object Object]
  • [object Object]:根据[object Object]扩展并按专家索引排序后的token;仅该输出和[object Object]的第一维受[object Object]影响。
  • [object Object][object Object]与原始[object Object]的行映射关系,长度始终为[object Object]
  • [object Object]:量化输出对应的per-token分块scale;非量化模式返回空Tensor。
[object Object]
[object Object][object Object]undefined
[object Object]
  • [object Object]必须是二维Tensor,shape为[object Object]
  • [object Object]必须是一维或二维Tensor,shape为[object Object][object Object]
  • [object Object]元素个数必须小于[object Object],元素值必须大于等于[object Object]且小于[object Object]
  • 当前不支持[object Object]
  • [object Object]仅支持[object Object]
  • [object Object]仅在Ascend 950平台生效,且[object Object]仅支持FLOAT16或BFLOAT16。
  • [object Object]时,隐藏维[object Object]必须为偶数。
  • [object Object]时不支持autograd;本接口未提供显式的反向传播接口。
  • MXFP8的每32个量化值共享一个E8M0 scale,scale数量向2对齐。
  • MXFP4的两个4 bit值打包在一个UINT8中,因此[object Object]的PyTorch物理隐藏维为[object Object]
[object Object][object Object]
[object Object]
[object Object]
[object Object]
[object Object]

默认支持确定性计算。