支持度分析

分析方法

模型是否可以迁移成功主要取决于模型算子是否支持昇腾AI处理器。支持度分析主要包括以下工作：

1. 借助迁移分析工具识别当前昇腾平台对待迁移模型算子、API的支持情况；如果模型原始代码中调用了模型套件或第三方库，需要关注NPU对其的支持情况：
   • 如果该三方库原生支持NPU，用户需要关注NPU目前对库中特性的支持情况；
   • 如果是昇腾适配的第三方库，用户需要额外安装该库的昇腾适配版本，并关注其适配情况。详细昇腾第三方库支持情况请参考《套件与三方库支持清单》。如果用户希望以上第三方库和模型套件在适配昇腾设备后能达到更高的性能，可以自行调优。
2. 目前已知的不支持场景：
   • 当前不支持使用DP（Data Parallel，数据并行）模式的模型迁移。若用户训练脚本中包含NPU平台不支持的torch.nn.parallel.DataParallel接口，则需手动修改该接口为torch.nn.parallel.DistributedDataParallel接口，以执行多卡训练。原脚本需要在GPU环境下基于Python3.8及以上跑通。
   • APEX库中的FusedAdam融合优化器，目前不支持使用自动迁移或PyTorch GPU2Ascend工具迁移该优化器，需用户手工进行迁移，具体修改方法可单击LINK。
   • 大模型迁移暂不支持bmtrain框架的迁移。
   • bitsandbytes已支持在昇腾上进行安装，具体可单击Supported Backends进行参考，目前仅支持NF4量化/反量化迁移，用于LLM QLoRA微调，其余功能暂不支持。
   • 大模型迁移暂不支持colossalai三方库中HybridAdam优化器相关接口的迁移。
   • 目前暂不原生支持xFormers训练，如需使用xFormers中的FlashAttentionScore融合算子的迁移，用户可参考FlashAttentionScore章节进行替换。
   • 当前NPU不支持grouped_gemm第三方库安装。
   • 当前NPU支持composer第三方库安装，但NPU未做适配，无法使用。

迁移分析工具

在执行迁移操作前，需借助PyTorch Analyse工具，分析基于GPU平台的PyTorch训练脚本中API、三方库套件、亲和API分析以及动态shape在昇腾AI处理器上的支持情况，具体可参见表1，工具使用详细指导可参见《CANN 分析迁移工具用户指南》。

在迁移可行性分析中如果存在平台未支持的算子，可参考如下方法进行算子适配：

• 修改模型脚本使用等价支持的算子替换；
• 算子开发与适配，算子开发相关请参见《CANN Ascend C算子开发指南》或《CANN TBE&AI CPU算子开发指南》，算子适配请参见《PyTorch 框架特性指南》中的“自定义算子适配开发”章节；
• 联系华为工程师提出开发适配诉求。