华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
1、tensorflow转.onnx模型进行量化为_q.onnx模型, 用的是CANN的自带量化,然后使用atc工具把_q.onnx转.om模型。但是在310B1芯片上测试精度消失。
2、我又在310B1芯片上测试了.onnx模型的精度,没有问题。
3、我把.onnx模型没有经过量化,直接转成.om模型, 使用smit工具对比输出结果。 报第45个算子FP16溢出。
我想问问怎么处理这个溢出。
我要发帖子
1、tensorflow转.onnx模型进行量化为_q.onnx模型, 用的是CANN的自带量化,然后使用atc工具把_q.onnx转.om模型。但是在310B1芯片上测试精度消失。
2、我又在310B1芯片上测试了.onnx模型的精度,没有问题。
3、我把.onnx模型没有经过量化,直接转成.om模型, 使用smit工具对比输出结果。 报第45个算子FP16溢出。
我想问问怎么处理这个溢出。