接口功能:在-1轴和-2轴上同时进行目的数据类型为FLOAT4类、FLOAT8类的MX量化。在给定的-1轴和-2轴上,每32个数,计算出这两组数对应的量化尺度mxscale1、mxscale2作为输出mxscale1Out、mxscale2Out的对应部分,然后分别对两组数所有元素除以对应的mxscale1或mxscale2,根据round_mode转换到对应的dstType,得到量化结果y1和y2分别作为输出y1Out和y2Out的对应部分。
计算公式:
当前只支持scaleAlg=0,即OCP实现:
将输入x在-1轴上按照32个数进行分组,一组32个数 量化为
同时,将输入x在-2轴上按照32个数进行分组,一组32个数 量化为
-1轴量化后的 按对应的 的位置组成输出y1Out,mxscale1按对应的-1轴维度上的分组组成输出mxscale1Out。-2轴量化后的 按对应的 的位置组成输出y2Out,mxscale2按对应的-2轴维度上的分组组成输出mxscale2Out。
emax: 对应数据类型的最大正则数的指数位。
[object Object]undefined
每个算子分为,必须先调用“aclnnDynamicMxQuantWithDualAxisGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnDynamicMxQuantWithDualAxis”接口执行计算。
[object Object]
[object Object]
- 关于x、mxscale1Out、mxscale2Out的shape约束说明如下:
- rank(mxscale1Out) = rank(x) + 1。
- rank(mxscale2Out) = rank(x) + 1。
- mxscale1Out.shape[-2] = (ceil(x.shape[-1] / 32) + 2 - 1) / 2。
- mxscale2Out.shape[-3] = (ceil(x.shape[-2] / 32) + 2 - 1) / 2。
- mxscale1Out.shape[-1] = 2。
- mxscale2Out.shape[-1] = 2。
- 其他维度与输入x一致。
- 举例:输入x的shape为[B, M, N],目的数据类型为FP8类时,对应的y1和y2的shape为[B, M, N],mxscale1的shape为[B, M, (ceil(N/32)+2-1)/2, 2],mxscale2的shape为[B, (ceil(M/32)+2-1)/2, N, 2]。
- 确定性说明:aclnnDynamicMxQuantWithDualAxis默认确定性实现。
[object Object]