关闭数据缓存优化

如果在模型转换时不指定关闭数据缓存优化功能,当前默认开启数据缓存优化,开启数据缓存优化可提高计算效率、提升性能,但由于部分算子在实现上可能存在未考虑的场景,导致影响精度,因此在出现精度问题时可以尝试关闭数据缓存优化。如果关闭数据缓存优化功能后,精度达标,则还是需要识别出问题算子,反馈给华为工程师进一步分析、解决算子问题,解决算子问题后,建议保持开启数据缓存优化。

  1. 使用ATC工具转换模型时,增加高级参数:--buffer_optimize,用于关闭数据缓存优化。

    参数设置如下所示,:

    --buffer_optimize=off_optimize

    参数的详细说明请参见ATC工具使用指南

  2. 使用转换后的om模型重新推理。