场景介绍
NPU上的AMP支持以下4种原生PyTorch框架的AMP场景。具体场景说明可以点击跳转至PyTorch官网查看。
- 典型场景：开启混合精度进行一般模型训练的场景。
- 梯度累加场景：每计算一个batch的梯度，进行梯度的累加而不是清零，当累加到一定次数再更新参数、清零梯度的场景。
- 多模型、损失函数和优化器场景：神经网络中同时存在多个损失函数和优化器的场景。
- DDP场景（one NPU per process）：在分布式训练中，一个进程在一个NPU上运行的场景。
功能介绍
AMP默认使用动态Loss Scale。当前AMP工具中amp.GradScaler增加了dynamic和init_scale参数。dynamic默认为True，设置为False时，AMP支持静态Loss Scale并且可以通过init_scale参数设置scale系数。示例如下：
scaler = amp.GradScaler(init_scale = 2.**10, dynamic = False)
参数名称 |
参数说明 |
参数取值 |
|---|---|---|
dynamic |
AMP是否使用动态Loss Scale。 |
|
init_scale |
在使用静态Loss Scale时的初始scale系数。 |
仅在dynamic=False时可用，用户根据实际情况设置。 |
