本案例中的算子FlashAttentionScoreGrad,用于训练场景下计算注意力的反向输出,即FlashAttentionScore算子的反向计算。 已知注意力的正向计算公式为: 为方便表达,以变量S和P表示计算公式: 则注意力的反向计算公式为: 计算流程图如下: 按照FlashAttention反向计算流程的实现,简介整体计算流程如下。对本算子的算法感兴趣的用户可简单了解,无需重点关注。 重计算p,本步骤重计算了FlashAttention流程中的softmax结果p,计算结果保存在ub中。 计算dp,该计算包含matmul计算和dropout计算,matmul计算中,左矩阵为dy,右