多维数据搬运（ISASI）

Atlas 350 加速卡

√

Atlas A3 训练系列产品/Atlas A3 推理系列产品

x

Atlas A2 训练系列产品/Atlas A2 推理系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品AI Core

x

Atlas 推理系列产品Vector Core

x

Atlas 训练系列产品

x

T

源操作数或者目的操作数的数据类型。

dim

搬运的数据维度, 数据类型为uint8_t，支持的维度为[1, 5]。

config

搬运配置选项，NdDmaConfig类型，定义如下，具体参数说明请参考表 NdDmaConfig结构体参数定义。

1
2
3
4
5
6
7

struct NdDmaConfig {
    static constexpr uint16_t unsetPad = 0xffff;
    bool isNearestValueMode = false;
    uint16_t loopLpSize = unsetPad; // Left padding size of all dimensions, must be less than 256.
    uint16_t loopRpSize = unsetPad; // Right padding size of all dimensions, must be less than 256.
    bool ascOptimize = false;       // used for Ascend C optimization on special senario.
};

dst

输出

目的操作数，类型为LocalTensor。

src

输入

源操作数，类型为GlobalTensor。

params

输入

搬运参数 NdDmaParams类型，定义如下，具体参数说明请参考表 NdDmaParams结构体参数定义。

1
2
3
4
5

template <typename T, uint8_t dim>
struct NdDmaParams  {
    NdDmaLoopInfo<dim> loopInfo;
    T constantValue;  // 若有左右Padding，且不使能NearestValueMode时，该值将作为Padding值填充。
};

NdDmaLoopInfo类型，定义如下，具体参数说明请参考表 NdDmaLoopInfo结构体参数定义。

1
2
3
4
5
6
7
8
9

template <uint8_t dim>
struct NdDmaLoopInfo  {
    uint64_t loopSrcStride[dim] = {0}; // src stride info per loop.
    uint32_t loopDstStride[dim] = {0}; // dst stride info per loop.
    uint32_t loopSize[dim] = {0}; // Loop size per loop.
    uint8_t loopLpSize[dim] = {0}; // Left padding size per loop.
    uint8_t loopRpSize[dim] = {0}; // Right padding size per loop.
};
// 注意: dim的有效范围为[1,5]

unsetPad

表示不设置PaddingSize，固定为0xFFFF。

isNearestValueMode

表示Padding值填取方式，类型为bool。

True：使能最近值填充方式，即左右Padding值会选取当前维度最左或最右的值进行填充，可参考图1。

False：使能常数填充方式，即所有Padding值填充为固定值NdDmaParams::constantValue。

当数据类型为b64时，参数isNearestValueMode的值应为False。

loopLpSize

表示每个维度内的PaddingSize，当该值不为unsetPad时，则表示所有循环里的左PaddingSize为该值，且会使NdDmaLoopInfo::loopLpSize不生效。默认值为unsetPad，开发者可填的范围为默认值或[0,255]。

loopRpSize

表示每个维度内的PaddingSize，当该值不为unsetPad时，则表示所有循环里的右PaddingSize为该值，且会使NdDmaLoopInfo::loopRpSize不生效。默认值为unsetPad，开发者可填的范围为默认值或[0,255]。

ascOptimize

预留参数，暂不支持。

loopInfo

每维进行搬运的信息，类型为NdDmaLoopInfo<dim>。

NdDmaLoopInfo结构中数组类型的参数，其数组索引值对应实际维度信息，索引0 - 4对应1 - 5维。具体参数介绍可参考表 NdDmaLoopInfo结构体参数定义。

constantValue

数据类型为T的数值，当存在维度左右Padding，且不使能NearestValueMode时，该值将作为Padding值填充。

当数据类型为b64时，参数constantValue的值应为0。

loopSrcStride

表示每个维度内，该源操作数元素与下一个元素间的间隔。

单位为元素个数。数据类型为uint64_t，srcStride需在[0, 2⁴⁰)。

loopDstStride

表示每个维度内，该目的操作数元素与下一个元素间的间隔。

单位为元素个数。数据类型为uint32_t，dstStride需在[0, 2²⁰)。

loopSize

表示每个维度内，处理的元素个数（不包含Padding元素）。

单位为元素个数。数据类型为uint32_t，dstStride需在[0, 2²⁰)。

loopLpSize

表示每个维度内，左侧需要补齐的元素个数。

单位为元素个数。数据类型为uint8_t，srcStride不要超出该数据类型的取值范围。

loopRpSize

表示每个维度内，右侧需要补齐的元素个数。

单位为元素个数。数据类型为uint8_t，srcStride不要超出该数据类型的取值范围。

Atlas 350 加速卡

GM -> VECIN

b8、b16、b32、b64