在Ascend310B1上执行模型推理时,开启自动混合精度,反而造成内存占用上升明显,正常吗
收藏回复举报
在Ascend310B1上执行模型推理时,开启自动混合精度,反而造成内存占用上升明显,正常吗
t('forum.solved') 已解决
发表于2025-05-15 12:31:33
0 查看

我在Ascend310B1上部署了一个1.3B参数的大模型,为了加快推理速度,我开启了自动混合精度,但是我实测内存占用时,发现内存占用从不开启自动混合精度的5.2G飙升到了7.8G左右。速度确实变快了一倍左右。但是在我的理解中,自动混合精度降低了网络中某些算子的精度,总体的执行时间和内存占用都会降低才对,但是为什么现在只有时间降低了,而内存却上升明显,这正常吗。

torch_npu.npu.set_autocast_enabled(bool)我是使用这个设置开启的 自动混合精度,然后用with自动混合精度包裹要执行的代码

beta)torch_npu.npu.memory_allocated使用的测量内存占用的接口是这个,这个有问题吗

我要发帖子