--- title: aclnnFakeQuantPerChannelAffineCachemask description: "| 产品 | 是否支持 |" url: https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/latest/API/aolapi/context/ops-nn/aclnnFakeQuantPerChannelAffineCachemask.md sourcePath: /source/zh/CANNCommunityEdition/920beta1/API/aolapi/context/ops-nn/aclnnFakeQuantPerChannelAffineCachemask.md indexId: e8899ee74e21e3857cceaaaee13c0af73a9fac6aa3c1f780ceacd475817f9f04109 --- # aclnnFakeQuantPerChannelAffineCachemask ## 产品支持情况 | 产品 | 是否支持 | | :----------------------------------------------------------- | :------: | | Ascend 950PR/Ascend 950DT | × | | Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ | | Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ | | Atlas 200I/500 A2 推理产品 | × | | Atlas 推理系列产品 | × | | Atlas 训练系列产品 | × | ## 功能说明 - 接口功能：对于输入数据self，使用scale和zero_point对输入self在指定轴axis上进行伪量化处理，并根据quant_min和quant_max对伪量化输出进行值域更新，最终返回结果out及对应位置掩码mask。 - 计算公式：根据算子功能先计算临时变量qval，再计算得出out和mask。 - zero_point的数据类型为int32 $$ qval = Round(std::nearby_int(self / scale) + zero_point) $$ - zero_point的数据类型为float16或float32 $$ qval = std::lrintf(self / scale + zero_point) $$ $$ out = (Min(quant_max, Max(quant_min, qval)) - zero_point) * scale $$ $$ mask = (qval >= quant_min) & (qval <= quant_max) $$ ## 函数原型 每个算子分为两段式接口，必须先调用“aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnFakeQuantPerChannelAffineCachemask”接口执行计算。 ```Cpp aclnnStatus aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize( const aclTensor *self, const aclTensor *scale, const aclTensor *zeroPoint, int64_t axis, int64_t quantMin, int64_t quantMax, aclTensor *out, aclTensor *mask, uint64_t *workspaceSize, aclOpExecutor **executor) ``` ```Cpp aclnnStatus aclnnFakeQuantPerChannelAffineCachemask( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream) ``` ## aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize - **参数说明：** | 参数名 | 输入/输出 | 描述 | 使用说明 | 数据类型 | 数据格式 | 维度(shape) | 非连续Tensor | | --- | --- | --- | --- | --- | --- | --- | --- | | self | 输入 | 公式中的self。 | - | FLOAT16、FLOAT32 | ND | 0-8 | √ | | scale | 输入 | 公式中的scale，表示输入伪量化的缩放系数。 | size需要与zeroPoint一致且需要与self在axis轴的size一致。 | FLOAT16、FLOAT32 | ND | 1 | √ | | zeroPoint | 输入 | 公式中的zero_point，表示输入伪量化的零基准参数。 | size需要与scale一致且需要与self在axis轴的size一致。 | INT32 | ND | 1 | √ | | axis | 输入 | 表示计算维度。 | 范围为[-self.dim(), self.dim()-1]。 | INT64 | - | - | - | | quantMin | 输入 | 表示输入数据伪量化后的最小值。 | 需要小于等于quantMax。 | INT64 | - | - | - | | quantMax | 输入 | 表示输入数据伪量化后的最大值。 | 需要大于等于quantMin。 | INT64 | - | - | - | | out | 输出 | 公式中的out。 | shape需要和`self`一致。 | FLOAT16、FLOAT32 | ND | 0-8 | √ | | mask | 输出 | 公式中的mask。 | shape需要和`self`一致。 | BOOL | ND | 0-8 | √ | | workspaceSize | 输出 | 返回需要在Device侧申请的workspace大小。 | - | - | - | - | - | | executor | 输出 | 返回op执行器，包含了算子计算流程。 | - | - | - | - | - | - **返回值：** aclnnStatus：返回状态码，具体参见aclnn返回码。 第一段接口完成入参校验，出现以下场景时报错： | 返回码 | 错误码 | 描述 | | --- | --- | --- | | ACLNN_ERR_PARAM_NULLPTR | 161001 | 传入的self、scale、zeroPoint、out或mask是空指针。 | | ACLNN_ERR_PARAM_INVALID | 161002 | self、scale、zeroPoint、out或mask的数据类型不在支持的范围之内。 | | out和mask的shape与self不一致。 | - | - | | scale或zeroPoint的shape不是1维。 | - | - | | scale和zeroPoint的size大小不一致。 | - | - | | axis指定的维度不在合法范围[-self.dim(), self.dim()-1]内。 | - | - | | scale或zeroPoint的size与self在axis轴上的size大小不一致。 | - | - | | quantMin大于quantMax。 | - | - | ## aclnnFakeQuantPerChannelAffineCachemask - **参数说明：** | 参数名 | 输入/输出 | 描述 | | --- | --- | --- | | workspace | 输入 | 在Device侧申请的workspace内存地址。 | | workspaceSize | 输入 | 在Device侧申请的workspace大小，由第一段接口aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize获取。 | | executor | 输入 | op执行器，包含了算子计算流程。 | | stream | 输入 | 指定执行任务的Stream。 | - **返回值：** aclnnStatus：返回状态码，具体参见aclnn返回码。 ## 约束说明 - 确定性计算： - aclnnFakeQuantPerChannelAffineCachemask默认确定性实现。 - 当前新算子FakeQuantPerChannelAffineCachemask不支持zero_point的float32和float16输入，故先在aclnn接口内部拦截，待算子支持后放开该限制。 ## 调用示例 示例代码如下，仅供参考，具体编译和执行过程请参考编译与运行样例。 ```Cpp #include #include #include "acl/acl.h" #include "aclnnop/aclnn_fake_quant_per_channel_affine_cachemask.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法，资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template int CreateAclTensor(const std::vector& hostData, const std::vector& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/stream初始化，参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector selfShape = {1}; std::vector scaleShape = {1}; std::vector zeroPointShape = {1}; std::vector outShape = {1}; std::vector maskShape = {1}; void* selfDeviceAddr = nullptr; void* scaleDeviceAddr = nullptr; void* zeroPointDeviceAddr = nullptr; void* outDeviceAddr = nullptr; void* maskDeviceAddr = nullptr; aclTensor* self = nullptr; aclTensor* scale = nullptr; aclTensor* zeroPoint = nullptr; aclTensor* out = nullptr; aclTensor* mask = nullptr; std::vector selfHostData{1}; std::vector scaleHostData{1}; std::vector zeroPointHostData{1}; std::vector outHostData{1}; std::vector maskHostData{1}; int64_t quantMin = 1; int64_t quantMax = 3; int axis = 0; // 创建 aclTensor ret = CreateAclTensor(selfHostData, selfShape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(scaleHostData, scaleShape, &scaleDeviceAddr, aclDataType::ACL_FLOAT, &scale); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(zeroPointHostData, zeroPointShape, &zeroPointDeviceAddr, aclDataType::ACL_INT32, &zeroPoint); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(maskHostData, maskShape, &maskDeviceAddr, aclDataType::ACL_BOOL, &mask); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API，需要修改为具体的Api名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize第一段接口 ret = aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize(self, scale, zeroPoint, axis, quantMin, quantMax, out, mask, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnFakeQuantPerChannelAffineCachemask第二段接口 ret = aclnnFakeQuantPerChannelAffineCachemask(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnFakeQuantPerChannelAffineCachemask failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改 auto size = GetShapeSize(outShape); std::vector resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor，需要根据具体API的接口定义修改 aclDestroyTensor(self); aclDestroyTensor(scale); aclDestroyTensor(zeroPoint); aclDestroyTensor(out); aclDestroyTensor(mask); // 7. 释放device资源，需要根据具体API的接口定义修改 aclrtFree(selfDeviceAddr); aclrtFree(scaleDeviceAddr); aclrtFree(zeroPointDeviceAddr); aclrtFree(outDeviceAddr); aclrtFree(maskDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; } ```