精度看护工具

工具介绍

推荐领域模型精度至关重要，但特定开源模型精度指标auc无法充分反映潜在功能问题（auc降低一定有问题，但是auc达标不代表功能实现完全正确），同时auc作为端到端指标，无法精确反映出现问题的具体环节，造成精度问题定位困难，且责任边界不清晰。

对现有Little demo模型的各个环节进行打点并提供工具进行自动化看护，将有效提高精度看护能力，并确定问题引入的具体环节，加快精度问题定位速度。

工具获取

模型获取：链接

工具获取：链接

运行Little demo精度看护模式

在Little demo训练脚本中（如run.sh）设置环境变量PRECISION_CHECK，0表述关闭精度看护，1表示关闭开启看护。默认关闭看护。

export PRECISION_CHECK=0

或者

export PRECISION_CHECK=1

精度对齐开启后将会在run.sh同级脚本生成一个precision_check的数据文件，用于后续比对。

详细的生成文件请参考代码仓中的“开启精度对齐模式”部分内容。

使用Precrec-python工具进行解析对比

使用little demo精度对齐模式运行两次任务并生成对应打点文件之后，使用precision_check.py比对路径即可：

举例：

/home/little_demo/precision_check/20240807_091347
/home/little_demo/precision_check/20240807_101855  //运行两次任务生成对应打点文件
python precision_check.py /home/little_demo/precision_check/20240807_091347 /home/little_demo/precision_check/20240807_101855  //使用precision_check.py比对路径

precrec-python精度比对工具详细使用说明请参考链接。