aclnnDequantBias

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：对输入x反量化操作，将输入的int32的数据转化为FLOAT16/BFLOAT16输出。
• 计算公式： $$ y = A \times \text{weight_scale} \times \text{activate_scale} $$ $$ y = (A + \text{bias}) \times \text{weight_scale} \times \text{activate_scale} $$ $$ y = A \times \text{weight_scale} \times \text{activate_scale} + \text{bias} $$

函数原型

每个算子分为undefined，必须先调用“aclnnDequantBiasGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnDequantBias”接口执行计算。

• aclnnStatus aclnnDequantBiasGetWorkspaceSize(const aclTensor *x, const aclTensor *weightScale, const aclTensor *activateScaleOptional, const aclTensor *biasOptional, int64_t outputDtype, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnDequantBias(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnDequantBiasGetWorkspaceSize

• 参数说明：

  • x（aclTensor*，计算输入）：公式中的输入A，表示反量化操作的输入tensor，Device侧的aclTensor，shape为[M，N]，数据类型支持INT32。不支持undefined，undefined支持ND。支持空Tensor。
  • weightScale（aclTensor*，计算输入）：公式中的输入weight_scale，表示反量化操作输入N维度上乘法的权重，Device侧的aclTensor，shape为[N]，长度与x的N维长度一致，数据类型支持FLOAT，BFLOAT16。不支持undefined，undefined支持ND。支持空Tensor。
  • activateScaleOptional（aclTensor*，计算输入）：公式中的输入activate_scale，表示反量化操作输入M维度上乘法的权重，Device侧的aclTensor，shape为[M]，长度与x的M维长度一致，数据类型支持FLOAT。不支持undefined，undefined支持ND。支持空Tensor。
  • biasOptional（aclTensor*，计算输入）：公式中的输入bias，表示反量化操作输入N维度上加法的权重，Device侧的aclTensor，shape为[N]，长度与x的N维长度一致，数据类型支持FLOAT，BFLOAT16，FLOAT16，INT32。不支持undefined，undefined支持ND。支持空Tensor。
  • outputDtype（uint64_t *，计算输入）：数据类型为整型，表示输出out的数据类型，值为[1，27]。值为1表示输出的类型是FLOAT16，值为27表示输出的类型是BFLOAT16。当weightScale数据类型为FLOAT时，该参数配置为1；当weightScale数据类型为BFLOAT16时，该参数配置为27。支持空Tensor。
  • out（aclTensor*，计算输出）：公式中的输出y，表示反量化操作的输出tensor。Device侧的aclTensor，shape为[M，N]，数据类型支持FLOAT16、BFLOAT16。不支持undefined，undefined支持ND。
  • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnDequantBias

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnDequantBiasGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

输入和输出参数中shape的N和M必须是正整数，且M的取值小于等于25000。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。