选择BadCase
BadCase是模型与标杆模型推理结果存在差异的输入(Prompt)。BadCase是我们进行大模型精度问题分析和定位的前提,可参见发现 bad case发现和选择合适的BadCase。
例如,在模型A上,输入一个生成代码相关的问题,在外部设备上可以正常回复,但在昇腾平台上却经常回复null,那么这个输入的问题就是一个BadCase。我们可以将这个问题作为模型推理的输入进一步定位。
父主题: 采用msit工具定位
BadCase是模型与标杆模型推理结果存在差异的输入(Prompt)。BadCase是我们进行大模型精度问题分析和定位的前提,可参见发现 bad case发现和选择合适的BadCase。
例如,在模型A上,输入一个生成代码相关的问题,在外部设备上可以正常回复,但在昇腾平台上却经常回复null,那么这个输入的问题就是一个BadCase。我们可以将这个问题作为模型推理的输入进一步定位。