aclnnGeluMul

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：

  将输入Tensor按照最后一个维度分为左右两个Tensor：x1和x2，对左边的x1进行Gelu计算，将计算结果与x2相乘。

• 计算公式： 给定输入张量 input，最后一维的长度为 2d，函数 GeluMul 进行以下计算：

  1. 将 input 分割为两部分：

     $$x_1 = \text{input}[..., :d], \quad x_2 = \text{input}[..., d:]$$

  2. 对x1应用GELU激活函数，"tanh"模式公式如下：

     $$\text{GELU}(x) = 0.5 \cdot x \cdot \left( 1 + \tanh\left( \sqrt{\frac{2}{\pi}} \cdot \left( x + 0.044715 x^3 \right) \right) \right)$$

     “none”对应的erf模式公式如下：

     $$\text{GELU}(x) = 0.5 \cdot x \left( 1 + \text{erf}\left( \frac{x}{\sqrt{2}} \right) \right)$$

     因此，计算：

     $$x_1 = \text{GELU}(x_1)$$

  3. 最终输出是x1和x2的逐元素乘积：

     $$\text{out} = x_1 \times x_2$$

函数原型

每个算子分为undefined，必须先调用“aclnnGeluMulGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnGeluMul”接口执行计算。

• aclnnStatus aclnnGeluMulGetWorkspaceSize(const aclTensor *input, char *approximateOptional, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnGeluMul(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnGeluMulGetWorkspaceSize

• 参数说明：

  • input（aclTensor*，计算输入）：输入张量，公式中的input，Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。支持undefined，undefined支持ND，支持空Tensor。shape维度2至8维，且shape满足如下要求：
    • 最后一维值为偶数且小于等于1024。
    • 其他维度的乘积小于等于200000。
  • approximateOptional（char*，计算输入）：Gelu计算的模式，只支持“none”和“tanh”，分别对应Gelu的erf模式和tanh模式，输入为空指针时为“none”。
  • out（aclTensor*，计算输出）：输出张量，公式中的输出out，Device侧的aclTensor，数据类型支持BFLOAT16、FLOAT16、FLOAT。shape维度2至8维。支持undefined，undefined支持ND，输出的数据类型与输入保持一致，输出shape和输入shape其他维度一致，最后一维的值为输入shape最后一维值的二分之一。
  • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnGeluMul

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnForeachAbsGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

典型场景尾轴为16的倍数，当尾轴为非32B对齐时，建议走小算子拼接逻辑。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。