[object Object][object Object][object Object]undefined[object Object]

• 接口功能：Compressor是推理场景下SMLA和QLI的前处理算子，用于将每4或128个token的KV cache压缩成一个，然后每个token与这些压缩的KV cache进行DSA计算。在长序列的情况下，Compressor可以有效地减少计算开销。主要计算过程为：

  1. 将输入$X$与$W^{KV}$做Matmul运算得到$kv\_state$，将输入$X$与$W^{Gate}$做Matmul运算后再与$Ape$做Add运算得到$score\_state$，$kv\_state$与$score\_state$根据输入的start_pos及cu_seqlens完成更新。
  2. 在coff为2的情况下对$kv\_state$和$score\_state$进行数据重排。
  3. 对$score\_state$进行softmax运算将softmax结果与$kv\_state$做Mul计算，后进行ReduceSum运算。

• 计算公式：

  1. 计算矩阵乘法：
  $$C4A：\left[kv\_state^a, score\_state^a\right] = X @ \left[W^{aKV}, W^{aGate}\right], \left[kv\_state^b, score\_state^b\right] = X @ \left[W^{bKV}, W^{bGate}\right];$$ $$C128A：\left[kv\_state, score\_state\right] = X @ \left[W^{KV}, W^{Gate}\right]$$
  2. 计算分组加法：
  $$C4A：score\_state_i^\prime = \left[score\_state_{\left[4(i-1)+1:4i,:\right]}^a; score\_state_{\left[4i+1:4(i+1),:\right]}^b\right] + Ape,~i=1,2,\cdots, \frac{s}{4};$$ $$C128A：score\_state_i^\prime = score\_state_{\left[128(i-1)+1:128i,:\right]} + Ape,~i=1,2,\cdots, \frac{s}{128};$$
  3. 计算分组Softmax：
  $$C4A：S_i^\prime = softmax(score\_state_i^\prime),~i=1,2,\cdots, \frac{s}{4};$$ $$C128A：S_i^\prime = softmax(score\_state_i^\prime),~i=1,2,\cdots, \frac{s}{128};$$
  4. 计算Hadamard乘积：
  $$C4A：(S_H)_i = S_i^\prime \odot \left[kv\_state^a_{\left[4(i-1)+1:4i,:\right]} ;kv\_state^b_{\left[4i+1:4(i+1),:\right]}\right],~i=1,2,\cdots, \frac{s}{4};$$ $$C128A：S_H = S_i^\prime \odot kv\_state;$$
  5. 沿着压缩轴分组求和：
  $$C4A：C_{i}^{\text{Comp}} = \left[1\right]_{1\times8} @ (S_H)_i, ~i=1,2,\cdots, \frac{s}{4};$$ $$C128A：C_{i}^{\text{Comp}} = \left[1\right]_{1\times128} @ (S_H)_i, ~i=1,2,\cdots, \frac{s}{128};$$

[object Object]

每个算子分为，必须先调用“aclnnCompressorGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnCompressor”接口执行计算。

[object Object]

• 参数说明

  [object Object]undefined

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]： cacheMode不支持输入2，且不支持0轴非连续。

• 返回值

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]

• 返回值

  aclnnStatus：返回状态码，具体参见。

[object Object]

• 确定性计算：
  • aclnnCompressor默认确定性实现。
• x参数维度含义：B（Batch Size）表示输入样本批量大小、S（Sequence Length）表示输入样本序列长度、H（Head Size）表示hidden层的大小、D（Head Dim）表示hidden层的最小单元大小、T表示所有Batch输入样本序列长度的累加和。
• 输入shape限制：
  • wkv支持输入shape[coff* D,H]
  • wgate支持输入shape[coff* D,H]
  • stateCache支持输入shape[block_num,block_size,2coff D]，要求blockNum>0，cacheMode=2时，需要满足blockSize >= coff * cmp_ratio + S - 1。
  • ape支持输入shape[cmp_ratio,coff* D]
  • startPos支持输入shape[B,]
  • 若x的维度采用BS合轴，即x的输入shape为[T,H]
    • cuSeqlens输入shape必须为[B+1,]。该参数中每个元素的值表示当前batch与之前所有batch的token数总和，即前缀和，因此后一个元素的值必须大于等于前一个元素的值，且第一位必须位0。
    • seqused，支持输入shape[B,]，要求每个Batch的有效token数要求小于等于对应Sequence Length长度，即seqused[n] <= cu_seqlens[n+1] - cu_seqlens[n]，且不小于0。
    • cacheMode=1时，state_block_table支持输入shape[B,ceil(Smax/block_size)]。Smax为每个Batch中最大的Sequence Length，即Smax=max(start_pos)+max(cu_seqlens[n+1] - cu_seqlens[n])。cacheMode=2时，state_block_table支持输入shape[B]。
    • cmpKv，输出shape为[min(T,T//cmp_ratio+B),D]：compressed_tokens + compressed_tokens + ... + compressed_tokens + pad。
  • 若x的维度不采用BS合轴，即x的输入shape为[B,S,H]
    • cuSeqlens，参数必须为空。
    • seqused，支持输入shape[B,]，要求每个Batch的有效token数要求小于等于对应Sequence Length长度，即要求seqused[n] <= S，且不小于0。
    • cacheMode=1时，stateBlockTable支持输入shape[B,ceil(Smax/block_size)]。Smax为每个Batch中最大的Sequence Length，即Smax=max(start_pos)+S。cacheMode=2时，stateBlockTable支持输入shape[B]。
    • cmpKv，输出shape为[B,ceil(S/cmp_ratio),D]：(compressed_tokens+pad0) + (compressed_tokens+pad1) + ... + (compressed_tokens+padN)。
• 输入值域限制：
  • 该接口支持B、S泛化，且存在如下场景限制：
    • 只支持B、S为0
    • 部分长序列场景下，如果计算量过大可能会导致出现超过NPU内存的报错，注：这里计算量会受x输入shape的影响，值越大计算量越大。典型的长序列（即B、S的乘积或T较大）场景包括但不限于：
    [object Object]
• 该接口支持B、S、T取0，即shape与B、S、T值相关的入参允许传入空tensor，其余入参不支持传入空tensor。该场景下stateCache不做更新，输出cmpKv为空tensor。
• 输入属性限制：
  • 支持D为128/512。
  • 支持H为1K~10K，512对齐。
  • 支持blockSize为1~1024。
  • 支持cmpRatio为2/4/8/16/32/64/128。支持如下三种典型组合场景：
    • C4A: D=512, coff=2, cmp_ratio=4；
    • C4Li: D=128, coff=2, cmp_ratio=4；
    • C128A: D=512, coff=1, cmp_ratio=128。

[object Object]

无