aclnnLeakyRelu&aclnnInplaceLeakyRelu

产品支持情况

[object Object]undefined

功能说明

• 接口功能：激活函数，用于解决Relu函数在输入小于0时输出为0的问题，避免神经元无法更新参数。
• 计算公式：$$out = max(0,self) + negativeSlope * min(0,self)$$

函数原型

• aclnnLeakyRelu和aclnnInplaceLeakyRelu实现相同的功能，使用区别如下，请根据自身实际场景选择合适的算子。

  • aclnnLeakyRelu：需新建一个输出张量对象存储计算结果。
  • aclnnInplaceLeakyRelu：无需新建输出张量对象，直接在输入张量的内存中存储计算结果。

• 每个算子分为，必须先调用“aclnnLeakyReluGetWorkspaceSize”或者“aclnnInplaceLeakyReluGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnLeakyRelu”或者“aclnnInplaceLeakyRelu”接口执行计算。

aclnnLeakyReluGetWorkspaceSize

• 参数说明：

  [object Object]
  • [object Object]Atlas 训练系列产品[object Object]：FLOAT、FLOAT16、DOUBLE。

• 返回值：

  aclnnStatus：返回状态码，具体参见。 第一段接口会完成入参校验，出现以下场景时报错：

  [object Object]

aclnnLeakyRelu

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

aclnnInplaceLeakyReluGetWorkspaceSize

• 参数说明：

  [object Object]
  • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16、DOUBLE。

• 返回值：

  aclnnStatus：返回状态码，具体参见。 第一段接口会完成入参校验，出现以下场景时报错：

  [object Object]

aclnnInplaceLeakyRelu

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性计算：

  • aclnnLeakyRelu&aclnnInplaceLeakyRelu默认确定性实现。

• negativeSlope使用整型类型作为属性输入，而输入self是FLOAT类型，那么如果negativeSlope大于2^24或小于-2^24可能存在精度损失。同理，如果输入self是FLOAT16类型，那么negativeSlope大于2^11或小于-2^11可能存在精度损失。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

aclnnLeakyRelu示例代码：

aclnnInplaceLeakyRelu示例代码：