大模型推理精度工具

大模型推理精度工具(Large Language Model Debug Tool)用于帮助开发者快速定位出精度问题根因,以提升开发效率,安装步骤请参见大模型推理精度工具安装

精度比对流程

图1 精度比对流程

加速库模型可使用ait llm dump命令进行数据转储(Dump),然后使用ait llm compare命令进行数据比对,具体使用指导请参见加速库模型数据转储

torch-npu(或torch-gpu)模型可使用DumpConfigregister_hook接口,在模型脚本中插入代码Dump数据,然后使用ait llm compare命令进行数据比对,具体使用指导请参见模型数据转储