华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
请问昇腾开发板,对fp32模型量化为int8模型之后,有的算子输入输出tensor被保存为fp16;
fp16计算过程是怎么样的,是直接硬件计算;还是通过程序把fp16转化为fp32进行计算,在数据保存的时候再把fp32转化为fp16进行保存,节省空间,
请问昇腾开发板是fp16计算过程是哪一种方法
本帖最后由 匿名用户 于 2024/02/29 09:09:20 编辑
我要发帖子
请问昇腾开发板,对fp32模型量化为int8模型之后,有的算子输入输出tensor被保存为fp16;
fp16计算过程是怎么样的,是直接硬件计算;还是通过程序把fp16转化为fp32进行计算,在数据保存的时候再把fp32转化为fp16进行保存,节省空间,
请问昇腾开发板是fp16计算过程是哪一种方法