异常检测

提供模型推理过程中出现的异常检测能力,如算子预算溢出、内存踩踏等,1.0版本仅支持溢出检测。

使用方式

ait llm errcheck --exec xxx [可选参数]

参数说明

参数名

描述

是否必选

--exec

执行模型推理的命令。

--type

异常检测类型,可选值['overflow'],当前仅支持溢出检测。

--exit

检测到异常后进程是否退出,默认关闭。

--output, -o

检测结果输出目录,默认为当前目录,如果没有异常则不输出结果文件。