动态Shape模型编译
MindIE-Torch支持两种动态Shape模式,分别为动态Dims和ShapeRange。
- 动态Dims(仅TorchScript模型支持):对于动态Dims可将模型输入Shape设置为离散型的数值,按档位设置动态dims。
例:如果设置三个档位分别是(1,3,4,4)、(2,3,4,4)、(4,3,8,8),表示模型推理时输入shape支持上述三个档位中的任意一个。
- ShapeRange(TorchScript模型和ExportedProgram均支持):对于ShapeRange可以将模型输入shape设置为一个范围。
例:设置最小ShapeRange为(1,3,4,4),设置最大ShapeRange为(16, 3,4,4),表示模型推理时输入Shape的第0维可以支持1-16中的任意整数值。
父主题: MindIE-Torch如何工作