--- title: aclnnDequantBias description: "[? 查看源码](https://gitcode.com/cann/ops-nn/tree/master/quant/dequant_bias)" url: https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/latest/API/aolapi/context/ops-nn/aclnnDequantBias.md sourcePath: /source/zh/CANNCommunityEdition/920beta1/API/aolapi/context/ops-nn/aclnnDequantBias.md indexId: 0067f24d1595272be3cdd371b09983a4b358261db698b9c2c34fe223e9f8e7e486 --- # aclnnDequantBias [? 查看源码](https://gitcode.com/cann/ops-nn/tree/master/quant/dequant_bias) ## 产品支持情况 |产品 | 是否支持 | |:-------------------------|:----------:| | Ascend 950PR/Ascend 950DT | × | | Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ | | Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ | | Atlas 200I/500 A2 推理产品 | × | | Atlas 推理系列产品 | × | | Atlas 训练系列产品 | × | ## 功能说明 - 接口功能：对输入x反量化操作，将输入的INT32的数据转化为FLOAT16/BFLOAT16输出。 - 计算公式： $$ y = A \times \text{weight_scale} \times \text{activate_scale} $$ $$ y = (A + \text{bias}) \times \text{weight_scale} \times \text{activate_scale} $$ $$ y = A \times \text{weight_scale} \times \text{activate_scale} + \text{bias} $$ ## 函数原型 每个算子分为两段式接口，必须先调用“aclnnDequantBiasGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnDequantBias”接口执行计算。 ```Cpp aclnnStatus aclnnDequantBiasGetWorkspaceSize( const aclTensor *x, const aclTensor *weightScale, const aclTensor *activateScaleOptional, const aclTensor *biasOptional, int64_t outputDtype, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor) ``` ```Cpp aclnnStatus aclnnDequantBias( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream) ``` ## aclnnDequantBiasGetWorkspaceSize - **参数说明：** | 参数名 | 输入/输出 | 描述 | 使用说明 | 数据类型 | 数据格式 | 维度(shape) | 非连续Tensor | | --- | --- | --- | --- | --- | --- | --- | --- | | x（aclTensor*） | 输入 | 表示反量化操作的输入tensor，公式中的A。 | 支持空Tensor。 shape为[M，N]。 | INT32 | ND | 2 | × | | weightScale（aclTensor*） | 输入 | 表示反量化操作输入N维度上乘法的权重，公式中的输入weight_scale。 | 支持空Tensor。 shape为[N]，长度与x的N维长度一致。 | FLOAT，BFLOAT16 | ND | 1 | × | | activateScaleOptional（aclTensor*） | 输入 | 表示反量化操作输入M维度上乘法的权重，公式中的输入activate_scale。 | 支持空Tensor。 shape为[M]，长度与x的M维长度一致。 | FLOAT | ND | 1 | × | | biasOptional（aclTensor*） | 输入 | 表示反量化操作输入N维度上加法的权重，公式中的输入bias。 | 支持空Tensor。 shape为[N]，长度与x的N维长度一致。 | FLOAT，BFLOAT16，FLOAT16，INT32 | ND | 1 | × | | outputDtype（int64_t） | 输入 | 表示输出out的数据类型。 | 值为[1，27]。值为1表示输出的类型是FLOAT16，值为27表示输出的类型是BFLOAT16。 当weightScale数据类型为FLOAT时，该参数配置为1。 当weightScale数据类型为BFLOAT16时，该参数配置为27。 | - | - | - | - | | out（aclTensor*） | 输出 | 表示反量化操作的输出Tensor，公式中的输出y。 | shape为[M，N]。 | FLOAT16、BFLOAT16 | ND | 2 | × | | workspaceSize（uint64_t*） | 输出 | 返回需要在Device侧申请的workspace大小。 | - | - | - | - | - | | executor（aclOpExecutor**） | 输出 | 返回op执行器，包含了算子计算流程。 | - | - | - | - | - | - **返回值** aclnnStatus：返回状态码，具体参见aclnn返回码。 第一段接口会完成入参校验，出现以下场景时报错： | 返回码 | 错误码 | 描述 | | --- | --- | --- | | ACLNN_ERR_PARAM_NULLPTR | 161001 | 输入x、weightScale或输出out的Tensor是空指针。 | | ACLNN_ERR_PARAM_INVALID | 161002 | 输入x、weightScale或输出out的数据类型不在支持的范围内。 | | ACLNN_ERR_INNER_TILING_ERROR | 561002 | 输入activateScaleOptional、biasOptional的数据类型不在支持的范围内。 | | 输入和输出的shape中N和M的取值不满足参数要求和约束。 | - | - | ## aclnnDequantBias - **参数说明：** | 参数名 | 输入/输出 | 描述 | | --- | --- | --- | | workspace | 输入 | 在Device侧申请的workspace内存地址。 | | workspaceSize | 输入 | 在Device侧申请的workspace大小，由第一段接口aclnnDequantBiasGetWorkspaceSize获取。 | | executor | 输入 | op执行器，包含了算子计算流程。 | | stream | 输入 | 指定执行任务的Stream。 | - **返回值** aclnnStatus：返回状态码，具体参见aclnn返回码。 ## 约束说明 - 确定性计算： - aclnnDequantBias默认确定性实现。 - 输入和输出参数中shape的N和M必须是正整数，且M的取值小于等于25000。 ## 调用示例 示例代码如下，仅供参考，具体编译和执行过程请参考编译与运行样例。 ```Cpp #include #include #include "acl/acl.h" #include "aclnnop/aclnn_dequant_bias.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector& shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } void PrintOutResult(std::vector &shape, void** deviceAddr) { auto size = GetShapeSize(shape); std::vector resultData(size, 0); auto ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), *deviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return); for (int64_t i = 0; i < size; i++) { LOG_PRINT("mean result[%ld] is: %d\n", i, resultData[i]); } } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法，资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template int CreateAclTensor(const std::vector& hostData, const std::vector& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. （固定写法）device/stream初始化，参考acl API手册 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出，需要根据API的接口自定义构造 std::vector inputShape = {40, 256}; std::vector weightShape = {256}; std::vector activationShape = {40}; std::vector biasShape = {256}; std::vector inputHostData(40*256, 1); std::vector weightHostData(256, 2); std::vector activationHostData(40, 2); std::vector biasHostData(256, 2); void* inputDeviceAddr = nullptr; void* weightDeviceAddr = nullptr; void* activationDeviceAddr = nullptr; void* biasDeviceAddr = nullptr; aclTensor* input = nullptr; aclTensor* weight = nullptr; aclTensor* activation = nullptr; aclTensor* bias = nullptr; ret = CreateAclTensor(inputHostData, inputShape, &inputDeviceAddr, aclDataType::ACL_INT32, &input); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(weightHostData, weightShape, &weightDeviceAddr, aclDataType::ACL_FLOAT, &weight); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(activationHostData, activationShape, &activationDeviceAddr, aclDataType::ACL_FLOAT, &activation); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(biasHostData, biasShape, &biasDeviceAddr, aclDataType::ACL_FLOAT, &bias); CHECK_RET(ret == ACL_SUCCESS, return ret); std::vector yShape = {40,256}; std::vector yHostData(40*256, 9); aclTensor* y = nullptr; void* yDeviceAddr = nullptr; ret = CreateAclTensor(yHostData, yShape, &yDeviceAddr, aclDataType::ACL_FLOAT16, &y); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API，需要修改为具体的Api名称 uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnDequantBias第一段接口 ret = aclnnDequantBiasGetWorkspaceSize(input, weight, activation, bias, true, y, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnDequantBiasGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用aclnnDequantBias第二段接口 ret = aclnnDequantBias(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnDequantBias failed. ERROR: %d\n", ret); return ret); // 4. （固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值，将device侧内存上的结果拷贝至host侧，需要根据具体API的接口定义修改 PrintOutResult(yShape, &yDeviceAddr); // 6. 释放aclTensor和aclScalar，需要根据具体API的接口定义修改 aclDestroyTensor(input); aclDestroyTensor(y); // 7. 释放device资源，需要根据具体API的接口定义修改 aclrtFree(inputDeviceAddr); aclrtFree(yDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; } ```