DumpConfig

接口原型

DumpConfig(dump_path, token_range, module_list, tensor_part)

功能说明

Dump数据配置类,可用于按需转储模型数据。

参数说明

参数名

说明

是否必选

data_path

设置转储的数据路径,数据类型:str。默认为当前目录。

token_range

需要转储的token列表,数据类型:list。默认为[0],只dump第0个token的数据。

module_list

指定要hook的module类型,数据类型:list。默认为[],即dump所有module的数据。

tensor_part

指定要dump哪部分数据,数据类型:int ,默认为2。当tensor_part=0时,只dump输入数据;当tensor_part=1时,只dump输出数据;当tensor_path=2时,dump输入和输出的数据。

device_id

指定要dump的device id,数据类型:int,默认为None表示不限制device。如指定device_id=1,将跳过其他device的dump。