昇腾社区首页
中文
注册
开发者
下载

工具简介

如果模型配置和环境配置正确,模型依旧存在精度问题,则可以使用大模型推理精度工具(Large Language Model Debug Tool)进行精准定位与根因分析,有效提升开发效率,如表1所示。

表1 大模型推理精度工具

工具名称

说明

Bad Case分析工具(msit Bad Case)

提供脚本和命令行两种交互方式来进行自动bad case分析,使用户能够快速定位。使用说明请参见msit Bad Case 分析工具

数据dump工具(msit llm dump)

提供加速库模型推理过程中产生的中间数据的dump能力,落盘的数据用于进行后续的精度比对。

大模型精度比对工具(msit llm compare)

提供一键式精度比对功能,支持快速实现推理场景的整网精度比对。使用说明请参见大模型精度比对

精度预检工具(msit llm opcheck)

提供加速库内置算子的单算子精度预检能力,检测加速库算子精度是否达标。使用说明请参见opcheck单算子精度预检功能使用指南