[object Object]

[object Object][object Object]undefined[object Object]

• 算子功能：更新KCache中指定位置的key。

• 计算公式：

  • 场景一：

    [object Object]
    $$keyCache = slotMapping(key)$$

  • 场景二：

    [object Object]
    $$\begin{aligned} keyCache =\ & slotMapping(key[: compressSeqOffset], \\ & ReduceMean(key[compressSeqOffset : compressSeqOffset + compressLens]), \\ & key[compressSeqOffset + compressLens : seqLens]) \end{aligned}$$

  • 场景三：

    [object Object]
    $$keyCache = slotMapping(key[seqLens - compressLens : seqLens])$$

  上述场景根据构造的参数来区别，符合第一种入参构造走场景一，符合第二种构造走场景二，符合第三种构造走场景三。场景一没有compressLensOptional、seqLensOptional、compressSeqOffsetOptional这三个可选参数，场景三没有compressSeqOffsetOptional可选参数。

[object Object]

每个算子分为，必须先调用“aclnnScatterPaCacheGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnScatterPaCache”接口执行计算。

[object Object]

• 参数说明

  [object Object]

  [object Object]

• 返回值

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]

• 返回值

  aclnnStatus：返回状态码，具体参见。

[object Object]

• 确定性计算：aclnnScatterPaCache默认确定性实现。
• 参数说明中shape使用的变量说明如下：
  • batch：当前输入的序列数量（一次处理的样本数），取值为正整数。
  • seq_len：序列的长度，取值为正整数。
  • num_head：多头注意力中“头”的数量，取值为正整数。
  • k_head_size：每个注意力头中key的特征维度（单头key的长度），取值为正整数。
  • num_blocks：keyCache中预分配的块总数，用于存储所有序列的key数据，取值为正整数。
  • block_size：每个缓存块包含的token数量，取值为正整数。
• 输入值域限制：seqLensOptional和compressLensOptional里面的每个元素值必须满足公式：reduceSum(seqLensOptional[i] - compressLensOptional[i] + 1) <= num_blocks * block_size（对应场景二、三）。

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

• Atlas 350 加速卡 ：

  [object Object]