动态Batch

功能介绍

Batch即每次模型推理处理的图片数，对于每次推理图片数量固定的场景，处理图片数由数据shape的N值决定；对于每次推理图片数量不固定的场景，则可以通过动态Batch功能来动态分配每次处理的图片数量。例如用户执行推理业务时需要每次处理2张，4张，8张图片，则可以在模型中配置档位信息2,4,8，申请了档位后，模型推理时会根据实际档位申请内存。

支持的芯片型号

昇腾310 AI处理器

昇腾310P AI处理器

昇腾910 AI处理器

使用方法

下面介绍如何在模型构建时支持动态Batch功能：

在Data算子定义时，将数据shape的指定维度设置为-1：

    auto shape_data = vector<int64_t>({ -1,1,28,28 });
    TensorDesc desc_data(ge::Shape(shape_data), FORMAT_ND, DT_FLOAT);
    auto data = op::Data("data");
    data.update_input_desc_data(desc_data);
    data.update_output_desc_out(desc_data);

模型编译时，在aclgrphBuildModel接口options中设置INPUT_SHAPE/INPUT_FORMAT信息，同时通过DYNAMIC_BATCH_SIZE指定动态batchsize的具体大小。
- INPUT_FORMAT必须设置并且和所有Data算子的format保持一致，且仅支持NCHW和NHWC，否则会导致模型编译失败。
- INPUT_SHAPE可选设置。如果不设置，系统直接读取对应Data节点的shape信息，如果设置，以此处设置的为准，同时刷新对应Data节点的shape信息。
```
void PrepareOptions(std::map<Ascendstring, Ascendstring>& options) {
    options.insert({
        {ge::ir_option::INPUT_FORMAT, "NCHW"},
        {ge::ir_option::INPUT_SHAPE, "data:-1,1,28,28"},
        {ge::ir_option::DYNAMIC_BATCH_SIZE, "2,4,8"}     // 设置N的档位
    });
}
```

使用注意事项

该功能不能和动态分辨率、动态维度同时使用。

DYNAMIC_BATCH_SIZE最多支持100档配置，每一档通过英文逗号分隔，每个档位数值限制为：[1~2048]。如果用户设置的档位数值过大或档位过多，可能会导致模型编译失败，此时建议用户减少档位或调低档位数值。
如果模型编译时通过该参数设置了动态batch，则使用应用工程进行模型推理时，需要在aclmdlExecute接口之前，增加aclmdlSetDynamicBatchSize接口，用于设置真实的batch档位。关于aclmdlSetDynamicBatchSize接口的具体使用方法，请参见《应用软件开发指南 (C&C++)》。

父主题： 专题