aclnnFFNToAttention

产品支持情况

[object Object]undefined

功能说明

将FFN节点上的数据发往Attention节点。

函数原型

每个算子分为两段式接口，必须先调用 “aclnnFFNToAttentionGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnFFNToAttention”接口执行计算。

aclnnFFNToAttentionGetWorkspaceSize

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnFFNToAttention

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见aclnn返回码。

约束说明

• 确定性约束：

  • aclnnFFNToAttention默认确定性实现

• 参数一致性约束：

  • 所有卡的[object Object]、[object Object]、[object Object]、[object Object]参数及[object Object]取值需保持一致。

• 产品特定约束：

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：该场景下单卡包含双DIE（简称为“晶粒”或“裸片”），因此参数说明中的“本卡”均表示单DIE。

• Shape变量约束：

  [object Object]undefined

• 通信域使用约束：

  • FFNToAttention算子的通信域中不允许有其他算子。

调用示例

• 文件准备：

  1.新建FFNtoAttentionDemo目录，按照下方指导在FFNtoAttentionDemo下新建aclnnFFNtoAttentionDemo.cpp，FFNtoAttention.sh文件并参考如下代码修改。

  2.安装cann包，并根据下方指导编译运行FFNtoAttentionDemo。

• FFNtoAttention.sh编译脚本

  [object Object]

• 编译与运行：

  [object Object]

• 示例代码如下，仅供参考

  [object Object]