- [object Object]Ascend 950PR/Ascend 950DT[object Object]:支持
- [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:支持
- [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:支持
- [object Object]Atlas 200I/500 A2 推理产品[object Object]:不支持
- [object Object]Atlas 推理系列产品[object Object]:不支持
- [object Object]Atlas 训练系列产品[object Object]:不支持
[object Object]是基于[object Object]的[object Object]扩展接口。该接口根据[object Object]将输入[object Object]扩展,并按照专家索引排序,返回排序后的token及其与原始token的映射关系。
在Ascend 950平台上,接口还支持在permute过程中将输出量化为MXFP8或MXFP4,并返回对应的per-token分块scale。非Ascend 950平台忽略量化模式,按非量化路径执行。
[object Object]
接口返回三个Tensor:
[object Object]
定义:
[object Object]
各量化模式的输出如下:
其中:
[object Object]
[object Object]:根据[object Object]扩展并按专家索引排序后的token;仅该输出和[object Object]的第一维受[object Object]影响。[object Object]:[object Object]与原始[object Object]的行映射关系,长度始终为[object Object]。[object Object]:量化输出对应的per-token分块scale;非量化模式返回空Tensor。
[object Object]
[object Object]必须是二维Tensor,shape为[object Object]。[object Object]必须是一维或二维Tensor,shape为[object Object]或[object Object]。[object Object]元素个数必须小于[object Object],元素值必须大于等于[object Object]且小于[object Object]。- 当前不支持
[object Object]。 [object Object]仅支持[object Object]。[object Object]仅在Ascend 950平台生效,且[object Object]仅支持FLOAT16或BFLOAT16。[object Object]时,隐藏维[object Object]必须为偶数。[object Object]时不支持autograd;本接口未提供显式的反向传播接口。- MXFP8的每32个量化值共享一个E8M0 scale,scale数量向2对齐。
- MXFP4的两个4 bit值打包在一个UINT8中,因此
[object Object]的PyTorch物理隐藏维为[object Object]。
[object Object]
[object Object]
默认支持确定性计算。