tft_set_optimizer_replica

接口功能

设置rank对应的优化器状态数据副本关系。

接口格式

mindio_ttp.framework_ttp.tft_set_optimizer_replica(rank: int, replica_info: list)

接口参数

参数

是否必选

说明

取值要求

rank

必选

当前执行训练任务的NPU卡号。

int,[0, 100000)。

replica_info

必选

副本关系list,其中每个元素是一个字典,字典的排列顺序按照ATTENTION:0、MOE:1的索引顺序排列。

[
{
"rank_list":list,对应的一组副本关系rank列表,pytorch场景为DP组rank list,MindSpore场景为该卡对应的所有副本卡的list
"replica_cnt":int,副本数,pytorch场景为副本数,mindspore场景为rank_list的长度
"replica_shift":int,pytorch场景有效
},
]

返回值

无返回值,出错会打印ERROR日志、抛出异常。