开发者
下载
[object Object][object Object]

模型输入的shape信息。此参数实际对应的options参数为[object Object]

参数取值

  • 模型为固定shape,INPUT_SHAPE参数为可选配置

    • 若模型为单个输入,则shape信息为"input_name:n,c,h,w"。
    • 若模型有多个输入,则shape信息为"input_name1:n1,c1,h1,w1;input_name2:n2,c2,h2,w2";不同输入之间使用英文分号分隔,input_name必须是转换前的网络模型中的节点名称。
  • 模型为非固定shape,INPUT_SHAPE参数必须配置

    若原始模型中输入数据的某个或某些维度值不固定,当前支持通过设置shape分档或设置shape范围两种方式转换模型。

    • 设置shape分档(静态shape),包括设置batch_size档位、设置分辨率档位、设置动态维度档位。

      设置INPUT_SHAPE参数时,将对应维度值设置为-1,同时配合使用(设置batch_size档位)或(设置分辨率档位)或(设置动态维度档位)参数。

    • 设置shape范围(动态shape)。

      [object Object]

      Atlas 200I/500 A2 推理产品不支持设置shape范围

      [object Object]

      设置INPUT_SHAPE参数时,可将对应维度的值设置为范围,例如1~10,设置的range值范围必须有效

      • 支持按照name设置:"input_name1:n1,c1,h1,w1;input_name2:n2,c2,h2,w2",例如:"input_name1:8~20,3,5,-1;input_name2:5,3~9,10,-1"。指定的节点必须放在双引号中,节点中间使用英文分号分隔。input_name必须是转换前的网络模型中的节点名称。如果用户知道data节点的name,推荐按照name设置。
      • 支持按照index设置:"n1,c1,h1,w1;n2,c2,h2,w2",例如:"8~20,3,5,-1;5,3~9,10,-1"。可以不指定节点名,节点按照索引顺序排列,节点中间使用英文分号分隔。按照index设置shape范围时,data节点需要设置属性index,说明是第几个输入,index从0开始。

      如果用户不想指定维度的范围或具体取值,则可以将其设置为-1,表示此维度可以使用>=0的任意取值,该场景下取值上限为int64数据类型表达范围,但受限于host和device侧物理内存的大小,用户可以通过增大内存来支持。

  • 模型shape为标量

    • 非动态分档场景:

      shape为标量的输入,可选配置,例如模型有两个输入,input_name1为标量,即shape为"[]"形式,input_name2输入shape为[n2,c2,h2,w2],则shape信息为"input_name1:;input_name2:n2,c2,h2,w2",不同输入之间使用英文分号分隔,input_name必须是转换前的网络模型中的节点名称;标量的输入如果配置,则配置为空。

    • 动态分档场景:

      如果模型输入中既有标量shape,又有支持动态分档的shape,则标量输入不能忽略,必须配置。例如模型有三个输入,分别为A:[-1,c1,h1,w1]、B:[]、C:[n2,c2,h2,w2],则shape信息为"A:-1,c1,h1,w1;B:;C:n2,c2,h2,w2",标量输入B必须配置。

配置示例:

  • 固定shape,例如某网络的输入shape信息,输入1:input_0_0 [16,32,208,208],输入2:input_1_0 [16,64,208,208],则INPUT_SHAPE的配置信息为:

    [object Object]
  • 非固定shape,静态shape:

    • 设置batch_size档位的示例,请参见DYNAMIC_BATCH_SIZE。
    • 设置分辨率档位的示例,请参见DYNAMIC_IMAGE_SIZE。
    • 设置指定维度档位的示例,请参见DYNAMIC_DIMS。
  • 非固定shape,动态shape,设置shape范围的示例:

    [object Object]

    详细使用示例以及使用注意事项请参见

  • shape为标量

    • 非动态分档场景

      shape为标量的输入,可选配置。例如模型有两个输入,input_name1为标量,input_name2输入shape为[16,32,208,208],配置示例为:

      [object Object]

      上述示例中的input_name1为可选配置。

    • 动态分档场景

      shape为标量的输入,必须配置。例如模型有三个输入,shape信息分别为A:[-1,32,208,208]、B:[]、C:[16,64,208,208],则配置示例为(A为动态分档输入,此处以设置batch_size档位为例):

      [object Object]
[object Object]

产品支持情况:

全量芯片支持。

[object Object]

设置动态batch档位参数,适用于执行推理时,每次处理图片数量不固定的场景。此参数实际对应的options参数为[object Object]

该参数需要与INPUT_SHAPE配合使用,不能与DYNAMIC_IMAGE_SIZE、DYNAMIC_DIMS同时使用;且只支持N在shape首位的场景,即shape的第一位设置为"-1"。如果N在非首位场景下,请使用DYNAMIC_DIMS参数进行设置。

参数取值:档位数,例如"1,2,4,8"。

参数值格式:指定的参数必须放在双引号中,档位之间使用英文逗号分隔。

[object Object]

参数值约束:

[object Object][object Object]
  • 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为(1, 256],即必须设置至少2个档位,最多支持256档配置;每个档位数值建议限制为:[1~2048]。
[object Object][object Object]
  • 针对如下产品,档位数约束为:档位数取值范围为(1,100],即必须设置至少2个档位,最多支持100档配置;每个档位数值建议限制为:[1~2048]。

    [object Object]

    Atlas A3 训练系列产品/Atlas A3 推理系列产品

    [object Object][object Object]

    Atlas A2 训练系列产品/Atlas A2 推理系列产品

    [object Object][object Object]

    Atlas 200I/500 A2 推理产品

    [object Object][object Object]

    Atlas 推理系列产品

    [object Object][object Object]

    Atlas 训练系列产品

    [object Object]
[object Object][object Object]

配置示例:

INPUT_SHAPE中的“-1”表示设置动态batch。

[object Object]

详细使用示例以及使用注意事项请参见

产品支持情况:

[object Object]
  • Ascend 950PR/Ascend 950DT:支持
[object Object][object Object]
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
[object Object][object Object]
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
[object Object][object Object]
  • Atlas 200I/500 A2 推理产品:支持
[object Object][object Object]
  • Atlas 推理系列产品:支持
[object Object][object Object]
  • Atlas 训练系列产品:支持
[object Object][object Object][object Object]

设置输入图片的动态分辨率参数。适用于执行推理时,每次处理图片宽和高不固定的场景。此参数实际对应的options参数为[object Object]

该参数需要与INPUT_SHAPE配合使用,不能与DYNAMIC_BATCH_SIZE、DYNAMIC_DIMS同时使用。

参数取值: "imagesize1_height,imagesize1_width;imagesize2_height,imagesize2_width"。

参数值格式:指定的参数必须放在双引号中,档位之间英文分号分隔,每档内参数使用英文逗号分隔。

[object Object]

参数值约束:

[object Object][object Object]
  • 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为(1, 256],即必须设置至少2个档位,最多支持256档配置。
[object Object][object Object]
  • 针对如下产品,档位数约束为:档位数取值范围为(1,100],即必须设置至少2个档位,最多支持100档配置。

    [object Object]

    Atlas A3 训练系列产品/Atlas A3 推理系列产品

    [object Object][object Object]

    Atlas A2 训练系列产品/Atlas A2 推理系列产品

    [object Object][object Object]

    Atlas 200I/500 A2 推理产品

    [object Object][object Object]

    Atlas 推理系列产品

    [object Object][object Object]

    Atlas 训练系列产品

    [object Object]
[object Object][object Object]

配置示例:

INPUT_SHAPE中的“-1”表示设置动态分辨率。

[object Object]

详细使用示例以及使用注意事项请参见

产品支持情况:

[object Object]
  • Ascend 950PR/Ascend 950DT:支持
[object Object][object Object]
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
[object Object][object Object]
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
[object Object][object Object]
  • Atlas 200I/500 A2 推理产品:支持
[object Object][object Object]
  • Atlas 推理系列产品:支持
[object Object][object Object]
  • Atlas 训练系列产品:支持
[object Object][object Object][object Object]

设置ND格式下动态维度的档位。适用于执行推理时,每次处理任意维度的场景。此参数实际对应的options参数为[object Object]

该参数需要与INPUT_SHAPE配合使用,不能与DYNAMIC_BATCH_SIZE、DYNAMIC_IMAGE_SIZE同时使用。

参数取值:通过"dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9"的形式设置。

参数值格式:所有档位必须放在双引号中,档位之间使用英文分号分隔,每档内参数使用英文逗号分隔;每档中的dim值与INPUT_SHAPE参数中的-1标识的参数依次对应,INPUT_SHAPE参数中有几个-1,则每档必须设置几个维度。

[object Object]

参数值约束:

[object Object][object Object]
  • 针对Ascend 950PR/Ascend 950DT,档位数约束为:档位数取值范围为(1, 256],即必须设置至少2个档位,最多支持256档配置,建议配置为3~4档。
[object Object][object Object]
  • 针对如下产品,档位数约束为:档位数取值范围为(1,100],即必须设置至少2个档位,最多支持100档配置,建议配置为3~4档。

    [object Object]

    Atlas A3 训练系列产品/Atlas A3 推理系列产品

    [object Object][object Object]

    Atlas A2 训练系列产品/Atlas A2 推理系列产品

    [object Object][object Object]

    Atlas 200I/500 A2 推理产品

    [object Object][object Object]

    Atlas 推理系列产品

    [object Object][object Object]

    Atlas 训练系列产品

    [object Object]
[object Object][object Object]

配置示例:

[object Object]

详细使用示例以及使用注意事项请参见

产品支持情况:

[object Object]
  • Ascend 950PR/Ascend 950DT:支持
[object Object][object Object]
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
[object Object][object Object]
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
[object Object][object Object]
  • Atlas 200I/500 A2 推理产品:支持
[object Object][object Object]
  • Atlas 推理系列产品:支持
[object Object][object Object]
  • Atlas 训练系列产品:支持
[object Object][object Object][object Object][object Object]

动态shape图中,是否允许AI CPU算子和AI Core算子并行运行。此参数实际对应的options参数为[object Object]

动态shape图中,开关开启时,系统自动识别图中可以和AI Core并发的AI CPU算子,不同引擎的算子下发到不同流上,实现多引擎间的并行,从而提升资源利用效率和动态shape执行性能。

参数取值:

  • 1:允许AI CPU和AI Core算子间的并行运行。
  • 0(默认):AI CPU算子不会单独分流。

配置示例:

[object Object]
[object Object][object Object]

产品支持情况:

[object Object]
  • Ascend 950PR/Ascend 950DT:支持
[object Object][object Object]
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
[object Object][object Object]
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
[object Object][object Object]
  • Atlas 200I/500 A2 推理产品:不支持
[object Object][object Object]
  • Atlas 推理系列产品:支持
[object Object][object Object]
  • Atlas 训练系列产品:支持
[object Object][object Object]