设置rank对应的优化器状态数据副本关系。
mindio_ttp.framework_ttp.tft_set_optimizer_replica(rank: int, replica_info: list)
参数 |
是否必选 |
说明 |
取值要求 |
---|---|---|---|
rank |
必选 |
当前执行训练任务的NPU卡号。 |
int,[0, 100000)。 |
replica_info |
必选 |
副本关系list,其中每个元素是一个字典,字典的排列顺序按照ATTENTION:0、MOE:1的索引顺序排列。 |
[ { "rank_list":list,对应的一组副本关系rank列表,pytorch场景为DP组rank list,MindSpore场景为该卡对应的所有副本卡的list "replica_cnt":int,副本数,pytorch场景为副本数,mindspore场景为rank_list的长度 "replica_shift":int,pytorch场景有效 }, ] |
无返回值,出错会打印ERROR日志、抛出异常。