即时编译模式下,MindIE Torch的compile阶段会包含在模型的forward阶段中。
仅torch.compile路线支持即时编译。
1 2 3 4 5 6 7 8 9 10 | # load PyTorch nn.module model = torch.load("xxx.pth") # step1:准备待执行模型,此时并不会进行模型的编译优化 opt_model = torch.compile(model, backend="mindie") # 或 opt_model = mindietorch.compile(model, ir="torch_compile") # step2:执行推理,此时PyTorch才会调用MindIE Torch的自定义后端进行模型编译,编译完成之后才开始推理 npu_results = opt_model(input_data) |