用FSDP并行策略微调DeepSeek-13B模型
收藏回复举报
用FSDP并行策略微调DeepSeek-13B模型
t('forum.solved') 已解决
发表于2025-12-22 16:30:35
0 查看

我在尝试用FSDP并行策略微调DeepSeek-13B模型时,虽然按攻略配置了NPU适配参数,但训练过程中频繁出现显存波动过大、偶尔OOM的情况,且NPU利用率忽高忽低。想问问有经验的大佬,针对DeepSeek-13B这种大模型,FSDP并行策略适配昇腾NPU是否有额外的调优技巧?比如分片粒度、内存管理相关的参数该如何设置才能稳定显存占用?

我要发帖子