工具简介 如果模型配置和环境配置正确,模型依旧存在精度问题,则可以使用大模型推理精度工具进行精准定位与根因分析,有效提升开发效率,如表1所示。 表1 大模型推理精度工具工具名称 说明 msit Bad Case分析工具 提供脚本和命令行两种交互方式来进行自动bad case分析,使能用户快速定位。使用说明请参见msit Bad Case 分析工具。 msit llm dump工具 提供加速库模型推理过程中产生的中间数据的dump能力,落盘的数据用于进行后续的精度比对。 ATB场景的dump功能使用说明请参见加速库模型数据 dump。PyTorch场景的dump功能使用说明请参见PyTorch 场景的精度数据采集。 msit llm compare工具 提供一键式精度比对功能,支持快速实现推理场景的整网精度比对。使用说明请参见大模型精度比对。 msit llm opcheck工具 提供加速库内置算子的单算子精度预检能力,检测加速库算子精度是否达标。使用说明请参见opcheck单算子精度预检功能使用指南。 父主题: 采用msit工具定位