模型并行显示内存溢出
收藏回复举报
模型并行显示内存溢出
发表于2024-05-11 15:12:39
0 查看

1 系统环境

硬件环境(Ascend/GPU/CPU): Ascend

MindSpore版本: 2.2.0

执行模式(PyNative/ Graph): 不限

2 报错信息

2.1 问题描述

模型并行显示内存溢出

3 根因分析

一般是因为模型太大。

4 解决方案

       需要用多卡或者多机跑,整体HBM至少模型大小的4倍。

我要发帖子