aclnnScale

支持的产品型号

• Atlas 推理系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为，必须先调用“aclnnScaleGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnScale”接口执行计算。

• aclnnstatus aclnnScaleGetWorkspaceSize(const aclTensor *x, const aclTensor *scale, const aclTensor *bias, const int64_t axis, const int64_t numAxes, const bool scaleFromBlob, aclTensor *y, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnstatus aclnnScale(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

计算公式：

若不输入bias，则

$$y=x*scale$$

若输入bias，则

$$y=x*scale + bias$$

说明： scale/bias支持跟X的broadcast, scale/bias shape规则 scaleFromBlob is True(axis 转换为正数, numAxes = -1 表示到最后轴) scaleShape = xShape[axis:axis + numAxes] biasShape = xShape[axis:axis + numAxes]

scaleFromBlob is False(axis 转换为正数, numAxes = -1 表示到最前轴) scaleShape must be xShape[axis:axis + rank(scaleShape)] biasShape must be xShape[axis:axis + rank(scaleShape)] ex: scaleFromBlob = True xShape = [a, b, c, d, e, f] axis = 3 numAxes = 2 --> scaleShape = [d, e] xShape = [a, b, c, d, e, f] axis = 3 numAxes = 3 --> scaleShape = [d, e, f] xShape = [a, b, c, d, e, f] axis = 3 numAxes = -1 --> scaleShape = [d, e, f] scaleFromBlob = False xShape = [a, b, c, d, e, f] axis = 3 --> scaleShape = [d, e] xShape = [a, b, c, d, e, f] axis = 3 --> scaleShape = [d, e, f] xShape = [a, b, c, d, e, f] axis = 3 --> scaleShape = [d] xShape = [a, b, c, d, e, f] axis = 3 --> scaleShape = [e] [错误]

aclnnScaleGetWorkspaceSize

• 参数说明：

  • x(aclTensor*, 计算输入): 算子输入的Tensor，Device侧的aclTensor，数据类型支持FLOAT32, FLOAT16、BFLOAT16(Atlas 推理系列产品不支持)，支持，支持ND.
  • scale(aclTensor*, 计算输入): 算子输入的Tensor，Device侧的aclTensor，数据类型支持FLOAT32, FLOAT16、BFLOAT16(Atlas 推理系列产品不支持)，支持，支持ND.shape满足broadcast要求，见功能描述章节说明.
  • bias(aclTensor*, 计算输入): 算子输入的Tensor，Device侧的aclTensor，数据类型支持FLOAT32, FLOAT16、BFLOAT16(Atlas 推理系列产品不支持)，支持，支持ND.shape与scale保持一致.
  • axis(int64_t, ) host侧INT64类型，指定进行scale的起始轴, 取值范围 [-x_rank, x_rank).
  • numAxes(int64_t, ) host侧INT64类型，指定进行scale的轴长度, 取值范围 >= -1, numAxes = -1, 表示从axis轴开始scale到最后一轴.
  • scaleFromBlob(bool,) host侧BOOL类型，指定要scaleFromBlob类型, True: scale from blob, 使用numAxes + axis进行scale, False: scale from input scale, 从axis开始 scale input scale长度, 忽略numAxes取值.
  • y(aclTensor*, 计算输出): 输出Tensor，shape维度和x保持一致，Device侧的aclTensor，数据类型支持FLOAT32, FLOAT16、BFLOAT16(Atlas 推理系列产品不支持)，支持，支持ND.
  • workspaceSize(uint64_t*, 出参): 返回用户需要在Device侧申请的workspace大小.
  • executor(aclOpExecutor**, 出参): 返回op执行器，包含了算子计算流程.

• 返回值：

  aclnnStatus: 返回状态码，具体参见.

aclnnScale

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnScaleGetWorkspaceSize获取。
  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参)：指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束与限制

Atlas 推理系列产品不支持scale、offset及输入为bf16。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。