在Matmul计算时支持int8类型输入，half类型输出，该场景下，需要调用反量化接口进行反量化。调用反量化接口后，将数据从L0C搬出到GM时，会执行反量化操作，将最终结果反量化为half类型。本节中的反量化接口提供一个量化参数向量，即对输出矩阵的每一行都采用该向量中对应行的反量化系数进行反量化。该向量的shape为[1, N], N值为matmul矩阵计算时M/N/K中的N值。
请在Iterate或者IterateAll之前调用该接口。
__aicore__ inline void SetQuantVector(GlobalTensor<uint64_t> scalarTensor)
参数名 |
输入/输出 |
描述 |
|---|---|---|
scalarTensor |
输入 |
反量化运算时的参数向量 |
无
Atlas A2训练系列产品
无