接口功能:将调用
[object Object]量化得到的FLOAT4/FLOAT8的Tensor反量化为FLOAT16/BFLOAT16/FLOAT32格式。计算公式:
- 其中 是缩放因子,由输入mxscale提供;是指数位的偏移,对于FLOAT8_E8M0格式,;是量化得到的FLOAT4/FLOAT8张量; 是反量化得到的FLOAT16/BFLOAT16/FLOAT32张量。
每个算子分为,必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用[object Object]接口执行计算。
[object Object]
[object Object]
- 确定性计算:
[object Object]默认确定性实现。
- 关于x、mxscale的shape约束说明如下:
- 如果输入x的数据类型是float4_e2m1或float4_e1m2,x.shape[-1]必须是偶数。
- axis_change = axis if axis >= 0 else axis + rank(x)。
- mxscale.shape[axis_change] = (ceil(x.shape[axis], 32) + 2 - 1) / 2。
- mxscale.shape[-1] = 2。
- rank(mxscale) = rank(x) + 1。
- 其它维度与输入x一致。
[object Object]