MrgSort

产品支持情况

功能说明

将已经排好序的最多4条队列，合并排列成1条队列，结果按照score域由大到小排序，排布方式如下：

Ascend 950PR/Ascend 950DT采用方式一。

Atlas A3 训练系列产品/Atlas A3 推理系列产品采用方式一。

Atlas A2 训练系列产品/Atlas A2 推理系列产品采用方式一。

Atlas 推理系列产品AI Core采用方式二。

• 排布方式一：
  MrgSort处理的数据一般是经过Sort处理后的数据，也就是Sort接口的输出，队列的结构如下所示：

  • 数据类型为float，每个结构占据8Bytes。

    

  • 数据类型为half，每个结构也占据8Bytes，中间有2Bytes保留。

    

• 排布方式二：Region Proposal排布

  输入输出数据均为Region Proposal，具体请参见Sort中的排布方式二。

函数原型

1
2

template <typename T, bool isExhaustedSuspension = false>
__aicore__ inline void MrgSort(const LocalTensor<T> &dst, const MrgSortSrcList<T> &sortList, const uint16_t elementCountList[4], uint32_t sortedNum[4], uint16_t validBit, const int32_t repeatTime)

参数说明

1
2
3
4
5
6
7

template <typename T>
struct MrgSortSrcList {
    LocalTensor<T> src1;
    LocalTensor<T> src2;
    LocalTensor<T> src3; // 当要合并的队列个数小于3，可以为空tensor
    LocalTensor<T> src4; // 当要合并的队列个数小于4，可以为空tensor
};

返回值说明

无

约束说明

• 当存在score[i]与score[j]相同时，如果i>j，则score[j]将首先被选出来，排在前面，即index的顺序与输入顺序一致。
• 每次迭代内的数据会进行排序，不同迭代间的数据不会进行排序。
• 操作数地址对齐要求请参见通用地址对齐约束。

调用示例

• 处理128个half类型数据。

  该样例适用于：

  Ascend 950PR/Ascend 950DT

  Atlas A2 训练系列产品/Atlas A2 推理系列产品

  Atlas A3 训练系列产品/Atlas A3 推理系列产品

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

  uint32_t elementCount = 128; // 元素个数 uint32_t calcBufferSize = elementCount * 8; // 每个元素占据8字节 uint32_t tmpBufferSize = elementCount * 8; uint32_t sortedLocalSize = elementCount * 4; uint32_t sortRepeatTimes = elementCount / 32; uint32_t extractRepeatTimes = elementCount / 32; uint32_t sortTmpLocalSize = elementCount * 4; uint32_t singleMergeTmpElementCount = elementCount / 4; uint32_t baseOffset = AscendC::GetSortOffset<half>(singleMergeTmpElementCount); AscendC::MrgSortSrcList sortList = AscendC::MrgSortSrcList(sortedLocal[0], sortedLocal[baseOffset], sortedLocal[2 * baseOffset], sortedLocal[3 * baseOffset]); // sortList：待合并的有序队列列表 uint16_t singleDataSize = elementCount / 4; // 队列长度 const uint16_t elementCountList[4] = {singleDataSize, singleDataSize, singleDataSize, singleDataSize}; // 4个队列的长度 uint32_t sortedNum[4]; // 合并sortList中的4条队列 AscendC::MrgSort<half, false>(sortTmpLocal, sortList, elementCountList, sortedNum, 0b1111, 1);

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

  示例结果 输入数据(srcValueGm): 128个half类型数据 [31 30 29 ... 2 1 0 63 62 61 ... 34 33 32 95 94 93 ... 66 65 64 127 126 125 ... 98 97 96] 输入数据(srcIndexGm): [31 30 29 ... 2 1 0 63 62 61 ... 34 33 32 95 94 93 ... 66 65 64 127 126 125 ... 98 97 96] 输出数据(dstValueGm): [127 126 125 ... 2 1 0] 输出数据(dstIndexGm): [127 126 125 ... 2 1 0]

• 处理64个half类型数据。

  该样例适用于：

  Atlas 推理系列产品AI Core

  1 2 3 4 5 6 7 8 9 10

  uint32_t elementCount = 64; // 元素个数 // 单条队列元素个数 uint32_t singleMergeTmpElementCount = elementCount / 4; uint32_t baseOffset = AscendC::GetSortOffset<half>(singleMergeTmpElementCount); AscendC::MrgSortSrcList sortList = AscendC::MrgSortSrcList(sortedLocal[0], sortedLocal[baseOffset], sortedLocal[2 * baseOffset], sortedLocal[3 * baseOffset]); // sortList：待合并的有序队列列表 uint16_t singleDataSize = elementCount / 4; // 队列长度 const uint16_t elementCountList[4] = {singleDataSize, singleDataSize, singleDataSize, singleDataSize}; // 4个队列的长度 uint32_t sortedNum[4]; // 合并sortList中的4条队列 AscendC::MrgSort<half, false>(sortTmpLocal, sortList, elementCountList, sortedNum, 0b1111, 1);

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

  示例结果 输入数据(srcValueGm): 64个half类型数据 [15 14 13 ... 2 1 0 31 30 29 ... 18 17 16 47 46 45 ... 34 33 32 63 62 61 ... 50 49 48] 输入数据(srcIndexGm): [15 14 13 ... 2 1 0 31 30 29 ... 18 17 16 47 46 45 ... 34 33 32 63 62 61 ... 50 49 48] 输出数据(dstValueGm): [63 62 61 ... 2 1 0] 输出数据(dstIndexGm): [63 62 61 ... 2 1 0]