模型数据转储

工具对外提供“DumpConfig”“register_hook”接口用于数据Dump,使用前需要将接口插入到模型脚本中,接口说明请参见API参考

使用样例

在模型Python文件中文件开头导入对应函数,在模型初始化后添加Dump代码,使用样例参考如下。

from ait_llm import DumpConfig, register_hook
dump_config = DumpConfig(dump_path="./ait_dump")
register_hook(model, dump_config) # model是要dump中间tensor的模型示例

转储落盘位置

Dump默认落盘路径{DUMP_DIR}为当前目录下,如果在“DumpConfig”中指定“dump_path”,落盘路径则为指定的“{DUMP_PATH}”

{device_id}为设备号,{PID}为进程号,{TID}为token_id。