开发者
下载
[object Object][object Object]
  • [object Object]Ascend 950PR/Ascend 950DT[object Object]:支持
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:支持
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:支持
  • [object Object]Atlas 200I/500 A2 推理产品[object Object]:不支持
  • [object Object]Atlas 推理系列产品[object Object]:不支持
  • [object Object]Atlas 训练系列产品[object Object]:不支持
[object Object]
  • 接口功能:

    [object Object]接口用于生成一个任务列表,包含每个AIcore的Attention计算任务的起止点的Batch、Head、以及Q和K的分块的索引,供后续[object Object]算子使用。

[object Object]
[object Object]
[object Object][object Object][object Object]undefined
  • [object Object]Ascend 950PR/Ascend 950DT[object Object]:不支持quant_mode = 2。
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:不支持num_heads_q = 32,不支持quant_mode = 1/4,不支持layout_k = BSND/TND,不支持cmp_ratio在[1, 128]任意取值,仅支持cmp_ratio = 1/2/4/8/16/32/64/128。
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]:不支持num_heads_q = 32,不支持quant_mode = 1/4,不支持layout_k = BSND/TND,不支持cmp_ratio在[1, 128]任意取值,仅支持cmp_ratio = 1/2/4/8/16/32/64/128。
[object Object][object Object][object Object]undefined
[object Object]
  • 该接口支持推理场景下使用。
  • 该接口支持单算子模式和aclgraph模式。
  • quant_lightning_indexer_metadata接口需与quant_lightning_indexer算子配套使用。
  • B(Batch)表示输入样本批量大小。
  • 参数cu_seqlens_q、cu_seqlens_k要求其值为当前Batch与前序Batch有效token数的累加值,后一个元素的值必须大于等于前一个元素的值。
  • 参数seqused_q、seqused_k要求其值表示每个Batch中的有效token数。
  • 参数cmp_residual_k需满足cmp_residual_k[i] < cmp_ratio。
  • mask_mode所表示的mask模式的详细介绍见
[object Object]
  • 默认支持确定性计算