Deepspeed_npu是昇腾基于Microsoft DeepSpeed的适配插件,用户可使用该插件,配合原生DeepSpeed,在NPU上使用其分布式特性。当前Deepspeed_npu已适配其流水并行、ZeRO、重计算、MoE等主要特性。使用DeepSpeed训练的大模型,如LLAMA,可参考以下步骤进行模型的迁移与训练。