华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我在尝试用FSDP并行策略微调DeepSeek-13B模型时,虽然按攻略配置了NPU适配参数,但训练过程中频繁出现显存波动过大、偶尔OOM的情况,且NPU利用率忽高忽低。想问问有经验的大佬,针对DeepSeek-13B这种大模型,FSDP并行策略适配昇腾NPU是否有额外的调优技巧?比如分片粒度、内存管理相关的参数该如何设置才能稳定显存占用?
我要发帖子
我在尝试用FSDP并行策略微调DeepSeek-13B模型时,虽然按攻略配置了NPU适配参数,但训练过程中频繁出现显存波动过大、偶尔OOM的情况,且NPU利用率忽高忽低。想问问有经验的大佬,针对DeepSeek-13B这种大模型,FSDP并行策略适配昇腾NPU是否有额外的调优技巧?比如分片粒度、内存管理相关的参数该如何设置才能稳定显存占用?