在MindSpore上进行分布式训练加速的开发学习和技术路线
收藏回复举报
在MindSpore上进行分布式训练加速的开发学习和技术路线
t('forum.solved') 已解决
新人帖
发表于2024-09-06 14:31:35
0 查看

将节点上执行子图划分成小子图,然后对特定子图做多卡上的自动调度,同时还要充分发挥算子融合实现张量并行。通过将节点上执行任务粒度细化来实现多级并行策略组合,其实就是为了尽可能实现节点内均衡流水并行。

想在mindspore上研究开发实现上面描述的功能,想询问一下大佬们在这个框架上能不能实现,相应的api在哪,因为现在没有用过mindspore框架所以想问一下学习路线和技术路线。

还有相比deepspeed,用哪个会更容易实现开发。

我要发帖子