这是我在某个epoch的某次迭代前卷积层的权重

​​计算得到的loss值为0，grad变得很奇怪

用该grad更新后的权重，卷积层的权重直接变成nan了。我的优化器是Adamax,学习率0.01, cosine衰减，前面10个epoch都能正常训练，应该不是学习率的问题

这样一更新，模型就崩了，后续的loss也变成nan。但并不是loss为0，grad就有inf，nan。实际上在这次迭代之前，有很多次loss为0的情况，得到的grad都为0，只有这次grad中会出现nan和inf。想知道该怎么处理呢