MatMulQAT

产品支持情况

产品	是否支持
Atlas 350 加速卡	x
Atlas A3 训练系列产品/Atlas A3 推理系列产品	x
Atlas A2 训练系列产品/Atlas A2 推理系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

功能说明

构造MatMul的QAT算子。

函数原型

该算子仅支持直接构造接口：

qat = amct_pytorch.nn.module.quantization.matmul.MatmulQAT(device, config)

参数说明

表1 直接构造接口参数说明
参数名	输入/输出	说明
device	输入	含义：运行设备。数据类型：string 默认值：None
config	输入	含义：量化配置，配置参考样例如下，量化配置参数的具体说明请参见量化配置参数说明。 DEFAULT_QAT_CONF = { "retrain_enable": True, "retrain_data_config": { "dst_type": "INT8", # INT8 "batch_num": 1, # 大于0 "fixed_min": True, "clip_max": 1.0, "clip_min": -1.0 }, "retrain_weight_config": { "dst_type": "INT8", # INT8 "weights_retrain_algo": "arq_retrain", # arq_retrain/ulq_retrain "channel_wise": True } } 数据类型：dict 默认值：None

表1 直接构造接口参数说明

参数名

输入/输出

说明

device

输入

含义：运行设备。

数据类型：string

默认值：None

config

输入

含义：量化配置，配置参考样例如下，量化配置参数的具体说明请参见量化配置参数说明。

DEFAULT_QAT_CONF = {
    "retrain_enable": True,
    "retrain_data_config": {
        "dst_type": "INT8", # INT8
        "batch_num": 1, # 大于0
        "fixed_min": True,
        "clip_max": 1.0,
        "clip_min": -1.0
    },
    "retrain_weight_config": {
        "dst_type": "INT8", # INT8
        "weights_retrain_algo": "arq_retrain", # arq_retrain/ulq_retrain
        "channel_wise": True
    }
}

数据类型：dict

默认值：None

返回值说明

返回构造的QAT单算子实例。

调用示例

直接构造：

from amct_pytorch.nn.module.quantization.matmul import MatmulQAT

MatmulQAT(device=None, config=None)

父主题： 单算子模式量化感知训练接口