文档
注册
评分
提单
论坛
小AI

SetQuantScalar

功能说明

在Matmul计算时支持int8类型输入,half/int8类型输出,该场景下,需要调用反量化接口进行反量化。调用反量化接口后,将数据从L0C搬出到GM时,会执行反量化操作,将最终结果反量化为half/int8类型。本节中的反量化接口提供对输出矩阵的所有值采用同一反量化系数进行反量化的功能。

请在Iterate或者IterateAll之前调用该接口。

函数原型

1
__aicore__ inline void SetQuantScalar(const uint64_t quantScalar)

参数说明

参数名

输入/输出

描述

quantScalar

输入

反量化系数。

返回值

支持的型号

Atlas推理系列产品(Ascend 310P处理器)AI Core

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas 200/500 A2推理产品

注意事项

调用示例

REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm, &tiling);
uint64_t ans = 2;
mm.SetQuantScalar(ans);
mm.SetTensorA(gm_a);
mm.SetTensorB(gm_b);
mm.SetBias(gm_bias);
mm.IterateAll(gm_c);
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词