动态Shape模型编译

MindIE Torch支持两种动态Shape模式,分别为动态Dims和ShapeRange。

  • 动态Dims和ShapeRange两种模式在使用时由CompileSpec的graphInputs的参数进行设置,详情请参考GraphInputs
  • torch.compile路线模型的静/动态编译由该接口的dynamic字段控制,且由于其即时编译的特点,MindIE Torch的自定义后端会自动根据模型推理的实际输入,构造编译时所需静态或者ShapeRange的Input对象。