迁移流程

迁移前准备

模型选取

1. 调研业务需求场景，选取主流仓库模型。
2. 保证选定的模型能在三方平台（如GPU）上运行。
3. 明确迁移前模型运行的硬件型号、精度、性能基线。从权威网站或数据平台获取源模型的性能值基线，或在三方平台实测性能基线。

迁移前分析

• 借助PyTorch Analyse工具采集目标网络中的模型/算子清单，识别第三方库及目标网络中算子支持情况，分析模型迁移的可行性。
  • 在迁移支持度分析中如果存在平台未支持的算子，需进行算子替换或者开发适配。
  • 是否调用模型套件或第三方库，关注NPU的支持情况。
• 确认是否存在目前已知未支持场景。

模型迁移与训练

模型迁移

提供三种迁移方式，实现GPU至NPU的接口替换、NPU分布式框架改造。

（可选）特性适配

• 数据类型为BF16或FP32的模型在训练过程中出现的收敛异常，可开启特征值检测，用于检测在训练过程中激活值的梯度特征值是否存在异常，具体可参考特征值检测。
• 在训练时如需混合使用单精度（float32）与半精度（float16）数据类型，可参考混合精度适配。

模型训练

1. 配置训练相关环境变量，以保证模型训练可以在NPU上正常运行，可参考环境变量配置。
2. 根据实际场景选择相应操作完成模型脚本配置和拉起训练，可参考执行训练。
3. 提供训练过程中常见问题的调试方法，便于用户确认问题发生位置及原因等，可参考模型调试。

模型保存与导出

保存与导出模型用于在线或离线推理。

• 保存模型文件（pth文件和pth.tar文件）用于在线推理。
• 使用模型文件（pth文件和pth.tar文件）导出ONNX模型，通过ATC工具将其转换为适配昇腾AI处理器的.om文件，用于离线推理。

调试调优

精度调试

1. 训练过程中的模型精度问题分析，及时处理训练不稳定问题。
2. 分析并评估迁移前后模型在loss/ppl和模型下游评测的任务得分，评估迁移前后的精度差异。
3. 确保迁移前后模型精度差异在可接受范围之内，数据无异常溢出；如果出现精度相关问题，需要借助精度问题分析工具分析。

性能调优

性能数据采集与评测：

1. 在NPU环境上，参考性能调优工具介绍章节对模型进行性能拆解。
2. 基于性能拆解得到的数据，分析瓶颈模块，模块分类参考性能概念，明确性能优化方向。

模型性能优化实施：

依据性能瓶颈模块的类型，从性能调优方法寻求优化方法，具体方法包括数据加载优化、NPU亲和适配优化、内存优化、通信优化和调度优化。

此外，本章节还提供了通信优化的建议和可以使能的通信算法，以及调度优化方法。