工具对外提供“DumpConfig”及“register_hook”接口用于数据Dump,使用前需要将接口插入到模型脚本中,接口说明请参见API参考。
在模型Python文件中文件开头导入对应函数,在模型初始化后添加Dump代码,使用样例参考如下。
from ait_llm import DumpConfig, register_hook dump_config = DumpConfig(dump_path="./ait_dump") register_hook(model, dump_config) # model是要dump中间tensor的模型示例
Dump默认落盘路径{DUMP_DIR}为当前目录下,如果在“DumpConfig”中指定“dump_path”,落盘路径则为指定的“{DUMP_PATH}”
{device_id}为设备号,{PID}为进程号,{TID}为token_id。