TensorFlow在线推理场景支持子图调优和算子调优，TensorFlow在线推理场景下调优和TensorFlow训练场景下在线调优的过程基本相同，可参考TensorFlow训练场景下在线调优。
TensorFlow在线推理场景下调优和TensorFlow训练场景下在线调优的两个小区别如下：
- 通过设置环境变量进行调优时，在线推理场景执行的是在线推理脚本，TensorFlow训练场景执行的是训练脚本。
- 通过修改脚本进行调优时，在线推理场景仅支持sess.run模式，通过session配置项aoe_mode和work_path使能AOE调优。仅支持TensorFlow 1.15和TensorFlow 2.6.5。