aclnnMultiScaleDeformableAttnFunction

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	√
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

算子功能：通过采样位置（sample location）、注意力权重（attention weights）、映射后的value特征、多尺度特征起始索引位置、多尺度特征图的空间大小（便于将采样位置由归一化的值变成绝对位置）等参数来遍历不同尺寸特征图的不同采样点。

函数原型

每个算子分为undefined，必须先调用“aclnnMultiScaleDeformableAttnFunctionGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMultiScaleDeformableAttnFunction”接口执行计算。

• aclnnStatus aclnnMultiScaleDeformableAttnFunctionGetWorkspaceSize(const aclTensor* value, const aclTensor* spatialShape, const aclTensor* levelStartIndex, const aclTensor* location, const aclTensor* attnWeight, aclTensor* output, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnMultiScaleDeformableAttnFunction(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

aclnnMultiScaleDeformableAttnFunctionGetWorkspaceSize

• 参数说明：

  • value（aclTensor*，计算输入）：特征图的特征值，Device侧的aclTensor，shape为（bs，num_keys，num_heads，channels），其中bs为batch size，num_keys为特征图的大小，num_heads为头的数量，channels为特征图的维度。支持undefined，undefined支持ND。

    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • spatialShape（aclTensor*，计算输入）：存储每个尺度特征图的高和宽，Device侧的aclTensor，数据类型支持INT32、INT64，shape为（num_levels，2），其中num_levels为特征图的数量，2分别代表（H, W)。支持undefined，undefined支持ND。

  • levelStartIndex（aclTensor*，计算输入）：每张特征图的起始索引，Device侧的aclTensor，数据类型支持INT32、INT64，shape为（num_levels,），其中num_levels为特征图的数量。支持undefined，undefined支持ND。

  • location（aclTensor*，计算输入）：采样点位置tensor，存储每个采样点的坐标位置，Device侧的aclTensor，shape为（bs，num_queries，num_heads，num_levels，num_points，2），其中bs为batch size，num_queries为查询的数量，num_heads为头的数量，num_levels为特征图的数量，num_points为采样点的数量，2分别代表（y, x）。支持undefined，undefined支持ND。数据类型与输入value的数据类型保持一致。

    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • attnWeight（aclTensor*，计算输入）：采样点权重tensor，Device侧的aclTensor，shape为（bs，num_queries，num_heads，num_levels，num_points），其中bs为batch size，num_queries为查询的数量，num_heads为头的数量，num_levels为特征图的数量，num_points为采样点的数量。支持undefined，undefined支持ND。数据类型与输入value的数据类型保持一致。

    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • output（aclTensor*，计算输出）：算子计算输出，Device侧的aclTensor，shape为（bs，num_queries，num_heads * channels），其中bs为batch size，num_queries为查询的数量，num_heads为头的数量，embed_dims为特征图的维度。支持undefined，undefined支持ND。数据类型与输入value的数据类型保持一致。

    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。

  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnMultiScaleDeformableAttnFunction

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnMultiScaleDeformableAttnFunctionGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

• [object Object]Atlas 推理系列产品[object Object]：
  • 通道数channels%32 = 0，且channels <= 256
  • 查询的数量32 <= num_queries< 500000
  • 特征图的数量num_levels <= 16
  • 头的数量num_heads = [2, 4, 8]
  • 采样点的数量num_points = [4, 8]
• [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
  • 通道数channels%8 = 0，且channels <= 256
  • 查询的数量32 <= num_queries < 500000
  • 特征图的数量num_levels <= 16
  • 头的数量num_heads <= 16
  • 采样点的数量num_points <= 16

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。