aclnnAttentionToFFN

产品支持情况

[object Object]undefined

功能说明

将Attention节点上token数据发往FFN节点。

函数原型

每个算子分为，必须先调用“aclnnAttentionToFFNGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnAttentionToFFN”接口执行计算。

aclnnAttentionToFFNGetWorkspaceSize

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnAttentionToFFN

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性约束：

  • [object Object]默认确定性实现。

• 参数一致性约束：

  • 调用接口过程中使用的[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]参数及[object Object]取值所有卡需保持一致，网络中不同层中也需保持一致，且和分离场景系列算子对应参数也保持一致。

• 产品特定约束：

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：该场景下单卡包含双DIE（简称为“晶粒”或“裸片”），因此参数说明中的“本卡”均表示单DIE。

• Shape变量约束：

  [object Object]undefined

• 环境变量约束：

  • HCCL_BUFFSIZE：调用本接口前需检查HCCL_BUFFSIZE环境变量取值是否合理，该环境变量表示单个通信域占用内存大小，单位MB，不配置时默认为200MB。

• 通信域使用约束：

  • AttentionToFFN算子的通信域中不允许有其他算子。

调用示例

文件准备：

1.新建AttentionToFFNDemo目录，按照下方指导在AttentionToFFNDemo下新建aclnnAttentionToFFNDemo.cpp，AttentionToFFN.sh文件并参考如下代码修改。

2.安装cann包，并根据下方指导编译运行AttentionToFFNDemo。

AttentionToFFN.sh编译脚本

编译与运行：

示例代码如下，仅供参考