简介

模型训练完成后,通过PyTorch提供的接口保存模型文件并导出ONNX模型,然后通过ATC工具将其转换为适配昇腾AI处理器的.om文件用于离线推理。

在昇腾pytorch1.8及更新的版本中,NPU模型在使用torch.save()进行存储的时候会保存NPU特有的设备信息和数据格式,以便于更好的支持断点训练,同时带来了保存的pth、pt和pth.tar扩展名文件跨平台兼容性问题,在模型固化文件用于非NPU设备时需要存储成CPU格式,详情参见跨平台模型保存

本章主要介绍如何将训练好的pth文件pth.tar文件转换为ONNX模型,将ONNX模型转换为适配昇腾AI处理器的.om文件流程请参考ATC工具使用指南 (开放态)

如果想使用Auto Tune优化功能,请参考CANN 开发工具指南》(开放态)中的“Auto Tune工具使用指南”章节

离线推理应用构建请参考应用软件开发指南 (C&C++, 开放态)。整体流程如下: