Dequantize

产品支持情况

功能说明

按元素做反量化计算，比如将int32_t数据类型反量化为half/float等数据类型。本接口最多支持输入为二维数据，不支持更高维度的输入。

Dequantize与AscendDequant的功能类似，本接口在不同量化场景下的形式更统一，因此推荐使用本接口。

函数原型

• 通过sharedTmpBuffer入参传入临时空间

  1 2

  template <const DequantizeConfig& config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT> __aicore__ inline void Dequantize(const LocalTensor<DstT>& dstTensor, const LocalTensor<SrcT>& srcTensor, const ScaleT& scale, const OffsetT& offset, const LocalTensor<uint8_t>& sharedTmpBuffer, const DequantizeParams& params)

• 接口框架申请临时空间

  1 2	template <const DequantizeConfig& config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT> __aicore__ inline void Dequantize(const LocalTensor<DstT>& dstTensor, const LocalTensor<SrcT>& srcTensor, const ScaleT& scale, const OffsetT& offset, const DequantizeParams& params)

  由于该接口的内部实现中涉及复杂的数学计算，需要额外的临时空间来存储计算过程中的中间变量。临时空间支持接口框架申请和开发者通过sharedTmpBuffer入参传入两种方式。

  • 接口框架申请临时空间，开发者无需申请，但是需要预留临时空间的大小。
  • 通过sharedTmpBuffer入参传入，使用该tensor作为临时空间进行处理，接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间，并在接口调用完成后，复用该部分内存，内存不会反复申请释放，灵活性较高，内存利用率也较高。

  接口框架申请的方式，开发者需要预留临时空间；通过sharedTmpBuffer传入的情况，开发者需要为sharedTmpBuffer申请空间。临时空间大小BufferSize的获取方式如下：通过GetDequantizeMaxMinTmpSize中提供的GetDequantizeMaxMinTmpSize接口获取需要预留空间的范围大小。

参数说明

1
2
3
4
5

struct DequantizeConfig {
    DequantizePolicy policy;
    bool hasOffset = false;
    int32_t kDim = 1;
}

1
2
3
4
5

struct DequantizeParams {
        uint32_t m;
        uint32_t n;
        uint32_t groupSize = 0;
}

返回值说明

无

约束说明

• 不支持源操作数与目的操作数地址重叠。
• 操作数地址对齐要求请参见通用地址对齐约束。
• 连续计算方向（即n方向）的数据量要求32字节对齐。

调用示例

• PER_CHANNEL、PER_TOKEN、PER_GROUP模式

  1 2 3 4 5 6 7 8 9 10 11 12

  constexpr static DequantizePolicy tokenPolicy = DequantizePolicy::PER_TOKEN; constexpr static DequantizePolicy channelPolicy = DequantizePolicy::PER_CHANNEL; constexpr static DequantizePolicy groupPolicy = DequantizePolicy::PER_GROUP; // 此处以PER_CHANNEL模式为例，不启用offset；kDim仅PER_GROUP场景有效，表示group计算方向为n方向 constexpr static DequantizeConfig config = {channelPolicy, false, 1}; DequantizeParams params; // m,n为外部传入参数，表示srcLocal实际参与的m、n方向的元素个数 params.m = m; params.n = n; params.groupSize = n; // 仅PER_GROUP场景下生效，此处表示n方向所有元素共享一组scale和offset // srcLocal为int32_t类型的LocalTensor，dstLocal、scaleLocal、offsetLocal为float类型的LocalTensor Dequantize<config>(dstLocal, srcLocal, scaleLocal, offsetLocal, params); // offsetLocal为预留参数，可配置为空Tensor;

• PER_TENSOR模式

  1 2 3 4 5 6 7 8 9 10

  constexpr static DequantizePolicy tensorPolicy = DequantizePolicy::PER_TENSOR; // 不启用offset constexpr static DequantizeConfig config = {tensorPolicy, false, -1}; DequantizeParams params; // m,n为外部传入参数，表示srcLocal实际参与的m、n方向的元素个数 params.m = m; params.n = n; params.groupSize = 0; // 仅PER_GROUP场景下生效 // srcLocal为int32_t类型的LocalTensor，dstLocal为float类型的LocalTensor，scale、offset为float类型的标量 Dequantize<config>(dstLocal, srcLocal, scale, offset, params); // offset为预留参数，可配置为0;

结果示例如下：

输入数据（srcLocal）: 
[-4, 2, -2, -3, -1, -4, 1, 3, 4, 1, -2, 0, ... 1]
输入数据（scale矢量）: 
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 1]
输入数据（scale标量）:
[1]
输出数据（dstLocal），此时dstLocal = srcLocal: 
[-4, 2, -2, -3, -1, -4, 1, 3, 4, 1, -2, 0, ... 1]