约束说明
- 除scale,offset,rstd tensors外,所有输入输出tensor的最后一维大小相等,需要32字节对齐。
- rstd仅支持
Atlas A2 训练系列产品 /Atlas 800I A2 推理产品 和Atlas A3 推理系列产品 /Atlas A3 训练系列产品 ,不能和precisionMode,modelType同时设置,不支持量化场景使用。 - precisionMode不能和rstd,modelType同时设置,不支持量化场景使用。
- modelType不能和rstd,precisionMode同时设置,不支持量化场景使用。
- dynamicQuantType目前只支持对称动态量化DYNAMIC_QUANT_SYMMETRIC。动态对称量化时,输入的最后一维大小需要小于等于12288。
Atlas 训练系列产品 目前仅支持非量化非融合rmsnorm。- RMS_NORM_PRENORM、RMS_NORM_POSTNORM量化场景仅支持
Atlas A2 训练系列产品 /Atlas 800I A2 推理产品 和Atlas A3 推理系列产品 /Atlas A3 训练系列产品 。 Atlas 200I/500 A2 推理产品 上仅支持float16数据类型,且layerType为RMS_NORM_NORM、quantType为QUANT_UNQUANT、QUANT_INT8,dynamicQuantType为0,即不支持dynamicQuant。