Mindformer 1.2.0 如何使用模型分布式权重进行训练微调?
收藏回复举报
Mindformer 1.2.0 如何使用模型分布式权重进行训练微调?
t('forum.solved') 已解决
发表于2024-10-14 15:09:17
0 查看

硬件环境: 800T A2  8*64G

软件配置:Mindspore 2.3.0   MindFormer 1.2.0 

Qwen1.5-14b模型如何使用分布式权重进行模型lora微调,配置的yaml文件应该如何调整? 

这种方式可以解决npu空间不足的问题吗,有没有实际训练使用案例的链接?

我要发帖子