昇腾社区首页
中文
注册

tft_register_save_ckpt_handler

接口功能

注册框架侧dump回调函数。

对于MindSpeed-LLM和MindSpeed训练框架,回调函数已由MindIO TFT完成适配;其他框架,回调函数的安全性需由用户保证。

接口格式

mindio_ttp.framework_ttp.tft_register_save_ckpt_handler(func: Callable, ctx = None)

接口参数

参数

是否必选

说明

取值要求

func

必选

临终CheckPoint保存函数,完成保存临终CheckPoint的功能。

回调函数,不为空,回调函数入参要求请参见表1,约定该回调函数无返回值,执行失败抛出异常。

ctx

可选

回调函数上下文。

默认为空。

表1 回调函数参数

参数

是否必选

说明

取值要求

step

-

dump优化器数据时对应的step。

正整数。

save_info

-

不同优化器参与保存临终遗言时的rank list,其中每个元素是一个字典,字典按照ATTENTION:0、MOE:1的索引顺序排列。

[
{
"type": int,优化器类型
"ranks": list,参与对应优化器保存临终遗言时的rank列表
},
]

args

-

tft_set_step_args设置的参数。

由注册方决定。

ctx

-

回调函数上下文。

由注册方决定。

返回值

无返回值,出错会打印ERROR日志、抛出异常。