昇腾社区首页
中文
注册
开发者
下载

模型迁移:在NPU上正确使能混合精度

目标

在精度调试前,首先需要确保模型迁移成功且在NPU上功能调通。如果涉及分布式训练,确保正确使能。

特别需要注意的是,在迁移过程中,需要确保正确使能混合精度训练。

参考步骤

在GPU上使能混合精度主要有以下两种方式:
  • 使用GPU的手动混合精度模式(参考链接),在模型中已经明确定义了所有的算子数据类型。
  • 使用GPU的自动混合精度模式(参考链接),利用TensorFlow框架或者第三方接口(例如Apex)能力,定义模型的算子数据类型。

需要注意,为了尽可能减少重复改图带来不期望的问题,以上方法需要确保仅使能一种,且迁移到NPU上时也保持同样的方式,并确保NPU的精度配置如下:

针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,使用“precision_mode_v2”选项,取值为“origin”。

针对Atlas A2 训练系列产品/Atlas A2 推理系列产品,使用“precision_mode_v2”选项,取值为“origin”。

针对Atlas 训练系列产品,使用“precision_mode”选项,取值为“allow_fp32_to_fp16”。