华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
昇腾论坛
0
/100
支持
我的论坛主页
论坛首页
/
NPU的通信效率问题
点赞
0
收藏
0
回复
0
分享
举报
只看楼主
NPU的通信效率问题
已解决
发表于2025-12-19 10:23:59
0
查看
在昇腾NPU上用ZeRO-3并行策略训练LLaMA-13B模型时,已按适配指南调整通信桶大小、开启计算-通信重叠,但仍出现梯度聚合耗时过长(占单步训练耗时60%)、训练吞吐量偏低的问题,且NPU算力利用率长期维持在50%以下。请问需从哪些维度优化ZeRO-3的通信效率?是否有针对昇腾NPU的ZeRO-3专属调优参数或硬件加速策略?
本帖最后由
匿名用户
于
2025/12/19 10:39:08
编辑
匿名回复
发表
我要发帖子
我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。
查看详情