昇腾社区首页
中文
注册
开发者
下载

工具简介

如果模型配置和环境配置正确,模型依旧存在精度问题,则可以使用大模型推理精度工具进行精准定位与根因分析,有效提升开发效率,如表1所示。

表1 大模型推理精度工具

工具名称

说明

msit Bad Case分析工具

提供脚本和命令行两种交互方式来进行自动bad case分析,使能用户快速定位。使用说明请参见msit Bad Case 分析工具

msit llm dump工具

提供加速库模型推理过程中产生的中间数据的dump能力,落盘的数据用于进行后续的精度比对。

msit llm compare工具

提供一键式精度比对功能,支持快速实现推理场景的整网精度比对。使用说明请参见大模型精度比对

msit llm opcheck工具

提供加速库内置算子的单算子精度预检能力,检测加速库算子精度是否达标。使用说明请参见opcheck单算子精度预检功能使用指南