特征值检测-关键特性适配-迁移适配-PyTorch 训练模型迁移调优指南-TorchNPU6.0.RC2开发文档-昇腾社区

特征值检测是针对NPU的PyTorch API，作用是检测在训练过程中的梯度特征值是否存在异常。当前仅能识别数据类型为BF16的LLM大语言模型训练过程中出现的收敛异常。 PyTorch图模式（TorchAir）不支持此特性。 检测原理：开启检测开关后，针对Transformer结构模型训练的反向阶段，采集Layernorm层、Embedding层的激活值梯度，并通过算法判断是否异常。若出现异常，则终止训练，并将检测到异常的设备上的NPU状态置为Warning，上报故障事件。 特征值异常原因可分为两类：硬件错误与软件错误，可参考故障处理进行后续分析。