接口功能:更新KvCache中指定位置的key和value。
输入输出支持以下场景:
场景一:
[object Object]场景二:
[object Object]其中k_head_size与v_head_size可以不同,也可以相同。
场景三:
[object Object]场景四:
[object Object]场景五:
[object Object]- 场景六:
[object Object]
上述场景根据构造的参数来区别,符合第一种入参构造走场景一,符合第二种构造走场景二,符合第三种构造走场景三,符合第四种构造走场景四,符合第五种构造走场景五,符合第六种构造走场景六。场景一、场景二、场景六没有compressLensOptional、seqLensOptional、compressSeqOffsetOptional这三个可选参数。场景四没有compressSeqOffsetOptional可选参数。
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:仅支持场景一、二、四、五、六。
每个算子分为,必须先调用“aclnnScatterPaKvCacheGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnScatterPaKvCache”接口执行计算。
参数说明
[object Object]
[object Object][object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:
- 输入key、keyCacheRef、value、valueCacheRef不支持FLOAT、UINT8、INT16、UINT16、INT32、UINT32、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN数据类型。
返回值:
第一段接口完成入参校验,出现以下场景时报错:
[object Object]
- 确定性计算:
- aclnnScatterPaKvCache默认确定性实现。
- key、value、keyCacheRef、valueCacheRef的数据类型必须一致;
- slotMapping、compressLensOptional、compressSeqOffsetOptional、seqLensOptional的数据类型必须一致;
- slotMapping的值范围[0,num_blocks*block_size-1],且slotMapping内的元素值保证不重复,重复时不保证正确性;
- 当key和value都是3维,则key和value的前两维shape必须相同;
- 当key和value都是4维,则key和value的前三维shape必须相同,且keyCacheRef和valueCacheRef的第三维必须是1;
- 当key和value是4维时,compressLensOptional、seqLensOptional为必选参数;当key和value是3维时,compressLensOptional、compressSeqOffsetOptional、seqLensOptional为可选参数;
- 当key和value都是4维时,slotMapping是二维,且slotMapping的第一维值等于key的第一维为batch,slotMapping的第二维值等于key的第三维为num_head(对应场景三);
- 当key和value都是4维时,seqLensOptional是一维,且seqLensOptional的值等于key的第一维为batch(对应场景三);
- 当key和value是3维且存在seqLensOptional时,seqLensOptional中所有值的和等于key的第一维为num_blocks(对应场景四、五);
- seqLensOptional和compressLensOptional里面的每个元素值必须满足公式:reduceSum(seqLensOptional[i] - compressLensOptional[i]) <= num_blocks * block_size (对应场景三、四、五)。
- 当cacheMode为“PA_NZ”时,keyCacheRef和valueCacheRef的倒数第二维必须小于UINT16_MAX(对应场景一)。
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:
[object Object]