ShiftLeft

产品支持情况

产品

是否支持

Ascend 950PR/Ascend 950DT

√

Atlas A3 训练系列产品/Atlas A3 推理系列产品

√

Atlas A2 训练系列产品/Atlas A2 推理系列产品

√

Atlas 200I/500 A2 推理产品

√

Atlas 推理系列产品AI Core

x

Atlas 推理系列产品Vector Core

x

Atlas 训练系列产品

x

功能说明

对源操作数中的每个元素进行左移操作,左移的位数由公式中scalar决定。根据源操作数的数据类型,左移操作分为以下两种情况:

函数原型

dst和src使用TensorTrait类型时,其数据类型TensorTrait和scalarValue的数据类型(对应TensorTrait中的LiteType类型)不一致。因此新增模板类型U表示scalarValue的数据类型,并通过std::enable_if检查T中萃取出的LiteType和U是否完全一致,一致则接口通过编译,否则编译失败。接口原型定义如下:

参数说明

表1 模板参数说明

参数名

描述

T

操作数数据类型。

Atlas A2 训练系列产品/Atlas A2 推理系列产品,支持的数据类型为:uint16_t/int16_t/uint32_t/int32_t

Atlas A3 训练系列产品/Atlas A3 推理系列产品,支持的数据类型为:uint16_t/int16_t/uint32_t/int32_t

Atlas 200I/500 A2 推理产品,支持的数据类型为:uint16_t/int16_t/uint32_t/int32_t

Ascend 950PR/Ascend 950DT,支持的数据类型为:uint8_t/int8_t/uint16_t/int16_t/uint32_t/int32_t/uint64_t/int64_t

U

scalarValue数据类型。

Atlas A2 训练系列产品/Atlas A2 推理系列产品,支持的数据类型为:uint16_t/int16_t/uint32_t/int32_t

Atlas A3 训练系列产品/Atlas A3 推理系列产品,支持的数据类型为:uint16_t/int16_t/uint32_t/int32_t

Atlas 200I/500 A2 推理产品,支持的数据类型为:uint16_t/int16_t/uint32_t/int32_t

Ascend 950PR/Ascend 950DT,支持的数据类型为:uint8_t/int8_t/uint16_t/int16_t/uint32_t/int32_t/uint64_t/int64_t

isSetMask

是否在接口内部设置mask模式和mask值。

  • true,表示在接口内部设置。

    tensor高维切分计算API/tensor前n个数据计算API内部使用了mask的Normal模式/Counter模式,一般情况下保持isSetMask默认值即可,表示在API内部根据开发者传入的mask/count参数进行mask模式和mask值的设置。

  • false,表示在接口外部设置。
    • 针对tensor高维切分计算接口,对性能要求较高的部分场景下,开发者需要使用SetMaskNorm/SetMaskCount设置mask模式,并通过SetVectorMask接口设置mask值。接口入参中的mask值设置为占位符MASK_PLACEHOLDER,用于占位,无实际含义。
    • 针对tensor前n个数据计算接口,对性能要求较高的部分场景下,开发者需要使用SetMaskCount设置mask模式为Counter模式,并通过SetVectorMask接口设置mask值。本接口入参中的count不生效,建议设置成1。

针对以下型号,tensor前n个数据计算API中的isSetMask参数不生效,保持默认值即可。

  • 针对Ascend 950PR/Ascend 950DT
  • Atlas 200I/500 A2 推理产品
表2 参数说明

参数名称

输入/输出

说明

dst

输出

目的操作数。

类型为LocalTensor,支持的TPosition为VECIN/VECCALC/VECOUT。

LocalTensor的起始地址需要32字节对齐。

src

输入

源操作数。

类型为LocalTensor,支持的TPosition为VECIN/VECCALC/VECOUT。

LocalTensor的起始地址需要32字节对齐。

数据类型需要与目的操作数保持一致。

scalarValue

输入

左移的位数,数据类型需要与目的操作数Tensor中的元素数据类型保持一致。

针对Atlas A2 训练系列产品/Atlas A2 推理系列产品,当src为uint16_t或int16_t类型时,scalarValue的取值范围为[0, 16];当src为uint32_t或int32_t类型时,scalarValue的取值范围为[0, 32]。

针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,当src为uint16_t或int16_t类型时,scalarValue的取值范围为[0, 16];当src为uint32_t或int32_t类型时,scalarValue的取值范围为[0, 32]。

针对Atlas 200I/500 A2 推理产品,当src为uint16_t或int16_t类型时,scalarValue的取值范围为[0, 16];当src为uint32_t或int32_t类型时,scalarValue的取值范围为[0, 32]。

针对Ascend 950PR/Ascend 950DT,scalarValue的取值应大于等于0,如果左移的位数大于src数据类型位宽,dst的全部元素被赋值为0。

count

输入

参与计算的元素个数。

mask/mask[]

输入

mask用于控制每次迭代内参与计算的元素。

  • 逐bit模式:可以按位控制哪些元素参与计算,bit位的值为1表示参与计算,0表示不参与。

    mask为数组形式,数组长度和数组元素的取值范围和操作数的数据类型有关。当操作数为16位时,数组长度为2,mask[0]、mask[1]∈[0, 264-1]并且不同时为0;当操作数为32位时,数组长度为1,mask[0]∈(0, 264-1];当操作数为64位时,数组长度为1,mask[0]∈(0, 232-1]。

    例如,mask=[8, 0],8=0b1000,表示仅第4个元素参与计算。

  • 连续模式:表示前面连续的多少个元素参与计算。取值范围和操作数的数据类型有关,数据类型不同,每次迭代内能够处理的元素个数最大值不同。当操作数为16位时,mask∈[1, 128];当操作数为32位时,mask∈[1, 64];当操作数为64位时,mask∈[1, 32]。

repeatTime

输入

重复迭代次数。 矢量计算单元,每次读取连续的256Bytes数据进行计算,为完成对输入数据的处理,必须通过多次迭代(repeat)才能完成所有数据的读取与计算。repeatTime表示迭代的次数。

关于该参数的具体描述请参考高维切分API。

repeatParams

输入

元素操作控制结构信息,具体请参考UnaryRepeatParams。

返回值说明

无

约束说明

调用示例

结果示例如下:
输入数据src0Local: [1 2 3 ... 512]
输入数据scalar = 2
输出数据dstLocal: [4 8 12 ... 2048]