返回顶部 工具简介 如果模型配置和环境配置正确,模型依旧存在精度问题,则可以使用大模型推理精度工具(Large Language Model Debug Tool)进行精准定位与根因分析,有效提升开发效率,如表1所示。 表1 大模型推理精度工具工具名称 说明 Bad Case分析工具(msit Bad Case) 提供脚本和命令行两种交互方式来进行自动bad case分析,使用户能够快速定位。使用说明请参见msit Bad Case 分析工具。 数据dump工具(msit llm dump) 提供加速库模型推理过程中产生的中间数据的dump能力,落盘的数据用于进行后续的精度比对。 ATB场景的dump功能使用说明请参见加速库模型数据 dump。PyTorch场景的dump功能使用说明请参见PyTorch 场景的精度数据采集。 大模型精度比对工具(msit llm compare) 提供一键式精度比对功能,支持快速实现推理场景的整网精度比对。使用说明请参见大模型精度比对。 精度预检工具(msit llm opcheck) 提供加速库内置算子的单算子精度预检能力,检测加速库算子精度是否达标。使用说明请参见opcheck单算子精度预检功能使用指南。 父主题: 采用msit工具定位