onnx模型转换.om模型数据溢出
收藏回复举报
onnx模型转换.om模型数据溢出
t('forum.solved') 已解决
发表于2024-10-16 00:57:36
0 查看

1、tensorflow转.onnx模型进行量化为_q.onnx模型, 用的是CANN的自带量化,然后使用atc工具把_q.onnx转.om模型。但是在310B1芯片上测试精度消失。

2、我又在310B1芯片上测试了.onnx模型的精度,没有问题。 

3、我把.onnx模型没有经过量化,直接转成.om模型, 使用smit工具对比输出结果。 报第45个算子FP16溢出。

我想问问怎么处理这个溢出。

image.png

我要发帖子