aclnnFatreluMul

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：

  将输入Tensor按照最后一个维度分为左右两个Tensor：x1和x2，对左边的x1进行Threshold计算，将计算结果与x2相乘。

• 计算公式：

  给定输入张量input，最后一维的长度为2d，进行以下计算：

  1. 将 input 分割为两部分：

     $$x_1 = \text{input}[..., :d], \quad x_2 = \text{input}[..., d:]$$

  2. 对x1应用Threshold激活函数，定义如下：

     $$\text{Threshold}(x, \text{threshold}) = \begin{cases} 0 & \text{if } x < \text{threshold} \\ x & \text{if } x \geq \text{threshold} \end{cases}$$

     因此，计算：

     $$x_1 = \text{Threshold}(x_1, \text{threshold})$$

  3. 最终输出是x1和x2的逐元素乘积：

     $$\text{out} = x_1 \times x_2$$

函数原型

每个算子分为undefined，必须先调用“aclnnFatreluMulGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnFatreluMul”接口执行计算。

• aclnnStatus aclnnFatreluMulGetWorkspaceSize(const aclTensor *input, const aclTensor *threshold, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnFatreluMul(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnFatreluMulGetWorkspaceSize

• 参数说明：

  • input（aclTensor*，计算输入）：输入张量，公式中的input，Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，undefined支持ND，支持空Tensor。shape维度2至8维，且shape满足如下要求：
    • 最后一维值为偶数且小于等于1024。
    • 其他维度的乘积小于等于200000。
  • threshold（aclTensor*，计算输入）：Threshold计算的边界值，公式中的threshold，Device侧的aclTensor，数据类型和数据格式与input保持一致，shape不超过8维，要求tensor中元素只有一个。不支持nan和inf。
  • out（aclTensor*，计算输出）：输出张量，公式中的out，Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。shape维度2至8维。支持undefined，undefined支持ND。输出的数据类型与输入input的数据类型保持一致。输出shape最后一维的值为输入shape最后一维值的二分之一，其他维度的值和输入input的shape其他维度的值保持一致。
  • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnFatreluMul

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnFatreluMulGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

典型场景尾轴为16的倍数，当尾轴为非32B对齐时，建议走小算子拼接逻辑。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。