华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
将节点上执行子图划分成小子图,然后对特定子图做多卡上的自动调度,同时还要充分发挥算子融合实现张量并行。通过将节点上执行任务粒度细化来实现多级并行策略组合,其实就是为了尽可能实现节点内均衡流水并行。
想在mindspore上研究开发实现上面描述的功能,想询问一下大佬们在这个框架上能不能实现,相应的api在哪,因为现在没有用过mindspore框架所以想问一下学习路线和技术路线。
还有相比deepspeed,用哪个会更容易实现开发。
我要发帖子
将节点上执行子图划分成小子图,然后对特定子图做多卡上的自动调度,同时还要充分发挥算子融合实现张量并行。通过将节点上执行任务粒度细化来实现多级并行策略组合,其实就是为了尽可能实现节点内均衡流水并行。
想在mindspore上研究开发实现上面描述的功能,想询问一下大佬们在这个框架上能不能实现,相应的api在哪,因为现在没有用过mindspore框架所以想问一下学习路线和技术路线。
还有相比deepspeed,用哪个会更容易实现开发。