规格约束
- 除scale，offset，rstd tensors外，所有输入输出tensor的最后一维大小相等，需要32字节对齐。
- rstd仅支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品和Atlas A3 推理系列产品/Atlas A3 训练系列产品，不能和precisionMode，modelType同时设置，不支持量化场景使用。
- precisionMode不能和rstd，modelType同时设置，不支持量化场景使用。
- modelType不能和rstd，precisionMode同时设置，不支持量化场景使用。
- dynamicQuantType目前只支持对称动态量化DYNAMIC_QUANT_SYMMETRIC。动态对称量化时，输入的最后一维大小需要小于等于12288。
- Atlas 训练系列产品目前仅支持非量化非融合rmsnorm。
- RMS_NORM_PRENORM、RMS_NORM_POSTNORM量化场景仅支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品和Atlas A3 推理系列产品/Atlas A3 训练系列产品。
- layerType为RMS_NORM_NORM、quantType为QUANT_UNQUANT、QUANT_INT，dynamicQuantType为0，即不支持dynamicQuant时，Atlas 200I/500 A2 推理产品上仅支持float16数据类型。