动态维度（ND格式）

基本原理

若模型推理时包含动态维度（ND格式）特性，在模型推理时，需调用pyACL提供的接口设置模型推理时需使用的维度值，完整流程请参见模型推理。关键原理说明如

下：

1. 加载模型。模型加载的详细流程，请参见模型推理，模型加载成功后，返回标识模型的ID。

   对于动态维度，模型支持哪些维度值已提前在构建模型时配置（构建模型的说明请参见《ATC工具使用指南》），构建模型成功后，在生成的om模型中，会新增一个输入（下文简称动态维度输入），在模型推理时通过该新增的输入提供具体的维度值。

   例如，a输入的某个维度值是动态的，在om模型中，会有与a对应的b输入来描述a的维度信息。在模型执行时，准备a输入的数据结构请参见准备模型执行的输入/输出数据结构，准备b输入的数据结构、设置b输入的数据请依次参见2、3。

2. 创建aclmdlDataset类型的数据，用于描述模型执行的输入数据、输出数据，详细调用流程请参见准备模型执行的输入/输出数据，关于动态维度输入的注意点如下：
   1. 申请动态维度（ND格式）输入对应的内存前，需要先调用acl.mdl.get_input_index_by_name接口根据输入名称（固定为"ascend_mbatch_shape_data"）获取模型中标识动态维度输入的index。
   2. 调用acl.mdl.get_input_size_by_index接口根据index获取输入内存大小。
   3. 调用acl.rt.malloc接口根据2.b中的大小申请内存。

      申请动态维度输入对应的内存后，无需用户设置内存中的数据（否则可能会导致业务异常），用户调用3.b中的接口后，系统会自动向内存中填入数据。

   4. 调用acl.create_data_buffer接口创建aclDataBuffer类型的数据，用于存放动态维度输入数据的内存地址、内存大小。
   5. 调用acl.mdl.create_dataset接口创建aclmdlDataset类型的数据，并调用acl.mdl.add_dataset_buffer接口向aclmdlDataset类型的数据中增加aclDataBuffer类型的数据。
3. 在成功加载模型之后，执行模型之前，设置动态维度的维度值。
   1. 调用acl.mdl.get_input_index_by_name接口根据输入名称（固定为"ascend_mbatch_shape_data"）获取模型中标识动态维度输入的index。
   2. 调用acl.mdl.set_input_dynamic_dims接口设置动态维度的维度值。

      此处设置的动态维度的值只能是模型转换时通过dynamic_dims参数设置的档位中的某一档，模型转换的详细说明请参见《ATC工具使用指南》。

      也可以调用acl.mdl.get_input_dynamic_dims接口获取指定模型支持的动态维度档位数以及每一档中的值。

4. 执行模型。

   例如，调用acl.mdl.execute接口（同步接口）执行模型。

• 对同一个模型，acl.mdl.set_dynamic_batch_size接口、acl.mdl.set_dynamic_hw_size接口和acl.mdl.set_input_dynamic_dims接口，只能调用其中一个接口。
• 对同一个模型，AIPP（包括静态AIPP和动态AIPP）与动态维度（ND格式）不能同时使用。

• 申请模型推理的输出内存时，可以按照各档位的实际大小申请内存，也可以调用acl.mdl.get_input_size_by_index接口获取内存大小后再申请内存（建议使用该方式，确保内存足够）。

示例代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import acl
# ......

# 1.模型加载，加载成功后，再设置动态维度
# ......

# 2.准备模型描述信息model_desc，准备模型的输入数据input_dataset和模型的输出数据output_dataset
# ......

# 3.自定义函数，设置动态维度
def model_set_dynamic_info():
    # 2.1 获取动态维度输入的index，标识动态维度输入的输入名称固定为"ascend_mbatch_shape_data"
    index, ret = acl.mdl.get_input_index_by_name(model_desc, "ascend_mbatch_shape_data")
    # 2.2 设置具体档位信息，包括维度数dimCount和各个维度的数值，model_id表示加载成功的模型的ID，
    # input_dataset表示aclmdlDataset类型的数据，index表示标识动态维度输入的输入index
    current_dims = {'name': '', 'dimCount': 4, 'dims': [8, 3, 224, 224]}
    ret = acl.mdl.set_input_dynamic_dims(mode_id, input_dataset, index, current_dims)
    # ......

# 4.自定义函数，执行模型
def ModelExecute(int index):
    # 4.1 调用自定义函数，设置动态维度
    ret = model_set_dynamic_info()
    # 4.2 执行模型，model_id表示加载成功的模型的ID，input_dataset和output_dataset分别表示模型的输入和输出
    ret = acl.mdl.execute(model_id, input_dataset, output_dataset)
    # ......

# 5.处理模型推理结果
# ......