开发者
资源
[object Object]

[object Object][object Object]undefined
[object Object]
  • 接口功能:更新KvCache中指定位置的key和value。

  • 输入输出支持以下场景:

    • 场景一:

      [object Object]
    • 场景二:

      [object Object]

      其中k_head_size与v_head_size可以不同,也可以相同。

    • 场景三:

      [object Object]
    • 场景四:

      [object Object]
    • 场景五:

      [object Object]
      • 场景六:
      [object Object]
  • 上述场景根据构造的参数来区别,符合第一种入参构造走场景一,符合第二种构造走场景二,符合第三种构造走场景三,符合第四种构造走场景四,符合第五种构造走场景五,符合第六种构造走场景六。场景一、场景二、场景六没有compressLensOptional、seqLensOptional、compressSeqOffsetOptional这三个可选参数。场景四没有compressSeqOffsetOptional可选参数。

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:仅支持场景一、二、四、五、六。

[object Object]

每个算子分为,必须先调用“aclnnScatterPaKvCacheGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnScatterPaKvCache”接口执行计算。

[object Object]
[object Object]
[object Object]
  • 参数说明

    [object Object]

    [object Object]
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:

      • 输入key、keyCacheRef、value、valueCacheRef不支持FLOAT、UINT8、INT16、UINT16、INT32、UINT32、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN数据类型。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

    第一段接口完成入参校验,出现以下场景时报错:

    [object Object]
[object Object]
  • 参数说明

    [object Object]
  • 返回值

    aclnnStatus:返回状态码,具体参见

[object Object]
  • 确定性计算:
    • aclnnScatterPaKvCache默认确定性实现。
    • key、value、keyCacheRef、valueCacheRef的数据类型必须一致;
    • slotMapping、compressLensOptional、compressSeqOffsetOptional、seqLensOptional的数据类型必须一致;
    • slotMapping的值范围[0,num_blocks*block_size-1],且slotMapping内的元素值保证不重复,重复时不保证正确性;
    • 当key和value都是3维,则key和value的前两维shape必须相同;
    • 当key和value都是4维,则key和value的前三维shape必须相同,且keyCacheRef和valueCacheRef的第三维必须是1;
    • 当key和value是4维时,compressLensOptional、seqLensOptional为必选参数;当key和value是3维时,compressLensOptional、compressSeqOffsetOptional、seqLensOptional为可选参数;
    • 当key和value都是4维时,slotMapping是二维,且slotMapping的第一维值等于key的第一维为batch,slotMapping的第二维值等于key的第三维为num_head(对应场景三);
    • 当key和value都是4维时,seqLensOptional是一维,且seqLensOptional的值等于key的第一维为batch(对应场景三);
    • 当key和value是3维且存在seqLensOptional时,seqLensOptional中所有值的和等于key的第一维为num_blocks(对应场景四、五);
    • seqLensOptional和compressLensOptional里面的每个元素值必须满足公式:reduceSum(seqLensOptional[i] - compressLensOptional[i]) <= num_blocks * block_size (对应场景三、四、五)。
    • 当cacheMode为“PA_NZ”时,keyCacheRef和valueCacheRef的倒数第二维必须小于UINT16_MAX(对应场景一)。
[object Object]

示例代码如下,仅供参考,具体编译和执行过程请参考

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:

    [object Object]