AOE自动调优工具通过生成调优策略、编译、在运行环境上验证的闭环反馈机制,不断迭代出更优的调优策略,最终得到最佳的调优策略,从而可以更充分利用硬件资源,不断提升网络的性能,达到最优的效果。模型训练阶段,分别使能AOE工具进行子图/算子与梯度切分的调优,调优完成后,最优调测策略会固化到知识库,模型再次训练时,无需开启调优,即可以享受知识库带来的性能收益。
建议按照如下调优顺序使用AOE工具进行调优:
针对Atlas A2 训练系列产品,不支持子图调优。
# 1:子图调优 2:算子调优 4:梯度调优 export AOE_MODE=2
1 2 3 | import npu_device as npu npu.global_options().aoe_config.aoe_mode="1" npu.open().as_default() |
关于AOE工具的使用约束及更多功能介绍,请参见《AOE工具使用指南》的“TensorFlow训练场景下调优”。