华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我在Ascend310B1上部署了一个1.3B参数的大模型,为了加快推理速度,我开启了自动混合精度,但是我实测内存占用时,发现内存占用从不开启自动混合精度的5.2G飙升到了7.8G左右。速度确实变快了一倍左右。但是在我的理解中,自动混合精度降低了网络中某些算子的精度,总体的执行时间和内存占用都会降低才对,但是为什么现在只有时间降低了,而内存却上升明显,这正常吗。
torch_npu.npu.set_autocast_enabled(bool)我是使用这个设置开启的 自动混合精度,然后用with自动混合精度包裹要执行的代码
beta)torch_npu.npu.memory_allocated使用的测量内存占用的接口是这个,这个有问题吗
我要发帖子
我在Ascend310B1上部署了一个1.3B参数的大模型,为了加快推理速度,我开启了自动混合精度,但是我实测内存占用时,发现内存占用从不开启自动混合精度的5.2G飙升到了7.8G左右。速度确实变快了一倍左右。但是在我的理解中,自动混合精度降低了网络中某些算子的精度,总体的执行时间和内存占用都会降低才对,但是为什么现在只有时间降低了,而内存却上升明显,这正常吗。
beta)torch_npu.npu.memory_allocated使用的测量内存占用的接口是这个,这个有问题吗