[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：[object Object]基于一系列操作得到每一个token对应的Top-$k$个位置。

• 计算公式：

$$Indices=\text{Top-}k\left\{[1]_{1\times g}@\left[(W@[1]_{1\times S_{k}})\odot\text{ReLU}\left(Q_{index}@K_{index}^T\right)\right]\right\}$$

对于某个token对应的Index Query $Q_{index}\in\R^{g\times d}$，给定上下文Index Key $K_{index}\in\R^{S_{k}\times d},W\in\R^{g\times 1}$，其中$g$为GQA对应的group size，$d$为每一个头的维度，$S_{k}$是上下文的长度。

[object Object]

每个算子分为，必须先调用“aclnnLightningIndexerGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnLightningIndexer”接口执行计算。

[object Object]

• 参数说明：

  [object Object]

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口会完成入参校验，出现以下场景时报错：

  [object Object]

[object Object][object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

[object Object]

• 参数query中的N支持小于等于64，key、value的N支持1。
• headdim支持128。
• block_size取值为16的倍数，最大支持1024。
• 参数query、key的数据类型应保持一致。
• 参数weights不为[object Object]时，参数query、key、weights的数据类型应保持一致。

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。