检查项汇总
精度调优前,请按照如下表格的要求进行检查,并记录相关检查结果,排除参考基准和模型迁移过程中可能存在的问题。
序号 |
检查项 |
简介 |
检查结果 |
---|---|---|---|
检查参考基准脚本 |
|||
1 |
基准模型多次训练需要得到相同的结果预期,如果基准模型的多次训练相互对比不满足精度对比要求,那么该参考基准不适合用于精度对比。 |
通过/不通过/未进行 |
|
2 |
由于昇腾AI处理器(简称NPU)硬件架构仅支持用户模型执行在混合精度训练模式下,故用户模型也需要以混合精度训练。如果用户模型未使能混合精度训练模式、或使能不当,会有可能导致NPU无法训练或训练精度不符合预期的结果。 |
通过/不通过/未进行 |
|
检查迁移后脚本 |
|||
3 |
在精度调优前,首先需要确保模型迁移成功且在NPU上功能调通。如果涉及分布式训练,确保正确使能。特别需要注意的是,在迁移过程中,需要确保正确使能混合精度训练。 |
通过/不通过/未进行 |
|
4 |
迁移后的脚本需在NPU上正确使能Loss Scale。且由于NPU计算特性与GPU/CPU混合精度计算特性存在差异,LossScaleManager参数也通常需要进行适当的调整以保证精度。 |
通过/不通过/未进行 |
|
6 |
训练数据集往往较大,且可能出现不完整情况,需要确保数据集完整性。 |
通过/不通过/未进行 |
|
7 |
用户模型代码的数据预处理流程可能存在基于资源自动设定的变量,该变量会导致对数据集打乱的随机性不一致。需要从代码级别确认数据预处理的接口调用,尽可能减小该差异。 |
通过/不通过/未进行 |
|
8 |
用户模型代码的多节点数据预处理流程可能存在基于文件名、文件个数等进行分片的模式。该模式下由于文件读取接口在不同节点上对文件名排序的不同,会导致分片差异较大甚至文件重复分片到不同节点等不期望的结果。需要增加调试代码排除类似问题,确认分片规则与基准一致。 |
通过/不通过/未进行 |
|
9 |
用户训练过程中,经常会出现例如未清空中间数据等流程错误,然后基于该不期望的中间数据可能会引起精度不一致的问题。用户需要对训练流程有基本的知识积累,并自行检查整个训练、验证过程的正确性。 |
通过/不通过/未进行 |
|
10 |
进行脚本迁移的用户可能对超参的一致性不熟悉,导致迁移完成后,但一些超参的计算事实上与参考基准不一致。此时需要检查实际执行超参与参考基准的一致性。 |
通过/不通过/未进行 |