下载
中文
注册

SetAntiQuantVector

功能说明

在Matmul计算时支持A矩阵half类型输入,B矩阵int8类型输入,该场景下,需要调用伪量化接口进行伪量化。调用伪量化接口后,将数据从GM搬出到L1时,会执行伪量化操作,将B矩阵转化为half类型。本节的伪量化接口提供一个量化参数向量,该向量的shape为[1, N],N值为Matmul矩阵计算时M/N/K中的N值。对B矩阵的每一列都采用该向量中对应列的伪量化系数进行伪量化。

请在Iterate或者IterateAll之前调用该接口。

函数原型

1
__aicore__ inline void SetAntiQuantVector(const LocalTensor<SrcT> &offsetTensor, const LocalTensor<SrcT> &scaleTensor)

参数说明

参数名

输入/输出

描述

offsetTensor

输入

伪量化运算时的参数向量,用于加

scaleTensor

输入

伪量化运算时的参数向量,用于乘

返回值

支持的型号

Atlas推理系列产品AI Core

注意事项